UNIX 的怪東西

  英文:Dima Kogan,翻譯:Linux中國/geekpi

  linux.cn/article-9928-1.html

  最近我在用我編寫的各種工具做更多 UNIX 下的事情,我遇到了兩個有趣的問題。這些都不是 “bug”,而是我沒想到的行爲。

  線程安全的 printf

  我有一個 C 程序從磁盤讀取一些圖像,進行一些處理,並將有關這些圖像的輸出寫入 STDOUT。僞代碼:

  for(imagefilename in images)

  {

  results = process(imagefilename);

  printf(results);

  }

  對於每個圖像都是獨立處理的,因此我自然希望將處理任務分配在各個 CPU 之間以加快速度。我通常使用 fork(),所以我寫了這個:

  for(child in children)

  {

  pipe = create_pipe();

  worker(pipe);

  }

  // main parent process

  for(imagefilename in images)

  {

  write(pipe[i_image % N_children], imagefilename)

  }

  worker()

  {

  while(1)

  {

  imagefilename = read(pipe);

  results = process(imagefilename);

  printf(results);

  }

  }

  這是正常的做法:我爲 IPC 創建管道,並通過這些管道給子進程 worker 發送圖像名。每個 worker 能夠通過另一組管道將其結果寫回主進程,但這很痛苦,所以每個 worker 都直接寫入共享 STDOUT。這工作正常,但正如人們所預料的那樣,對 STDOUT 的寫入發生衝突,因此各種圖像的結果最終會混雜在一起。那很糟糕。我不想自己設置個鎖,但幸運的是 GNU libc 爲它提供了函數:flockfile()。我把它們放進去了……但是沒有用!爲什麼?因爲 flockfile() 最終因爲 fork() 的寫時複製行爲而被限制在單個子進程中。即 fork()提供的額外安全性(與線程相比),這實際上最終破壞了鎖。

  我沒有嘗試使用其他鎖機制(例如 pthread 互斥鎖),但我可以想象它們會遇到類似的問題。我想保持簡單,所以將輸出發送回父輸出是不可能的:這給程序員和運行程序的計算機制造了更多的工作。

  解決方案:使用線程而不是 fork()。這有製造冗餘管道的好的副作用。最終的僞代碼:

  for(children)

  {

  pthread_create(worker, child_index);

  }

  for(children)

  {

  pthread_join(child);

  }

  worker(child_index)

  {

  for(i_image = child_index; i_image < N_images; i_image += N_children)

  {

  results = process(images[i_image]);

  flockfile(stdout);

  printf(results);

  funlockfile(stdout);

  }

  }

  這更簡單,如預期的那樣工作。我猜有時線程更好。

  將部分讀取的文件傳遞給子進程

  對於各種 vnlog 工具,我需要實現這個操作序列:

  進程打開一個關閉 O_CLOEXEC 標誌的文件

  進程讀取此文件的一部分(在 vnlog 的情況下直到圖例的末尾)

  進程調用 exec() 以調用另一個程序來處理已經打開的文件的其餘部分

  第二個程序可能需要命令行中的文件名而不是已打開的文件描述符,因爲第二個程序可能自己調用 open()。如果我傳遞文件名,這個新程序將重新打開文件,然後從頭開始讀取文件,而不是從原始程序停止的位置開始讀取。在我的程序上不可以這樣做,因此將文件名傳遞給第二個程序是行不通的。

  所以我真的需要以某種方式傳遞已經打開的文件描述符。我在使用 Linux(其他操作系統可能在這裏表現不同),所以我理論上可以通過傳遞 /dev/fd/N 而不是文件名來實現。但事實證明這也不起作用。在 Linux上(再說一次,也許是特定於 Linux)對於普通文件 /dev/fd/N 是原始文件的符號鏈接。所以這最終做的是與傳遞文件名完全相同的事情。

  但有一個臨時方案!如果我們正在讀取管道而不是文件,那麼沒有什麼可以符號鏈接,並且 /dev/fd/N 最終將原始管道傳遞給第二個進程,然後程序正常工作。我可以通過將上面的 open("filename") 更改爲 popen("cat filename") 之類的東西來僞裝。呸!這真的是我們所能做到最好的嗎?這在 BSD 上看上去會怎麼樣?

  大連哪家婦科檢查醫院好 http://www.bhfuke.com/

  大連的×××醫院 http://www.84211111.com/

  大連婦科正規醫院 http://www.dlbh120.com/


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章