Linux進程基礎與信號基礎

計算機實際上可以做的事情實質上非常簡單,比如計算兩個數的和,再比如在內存中尋找到某個地址等等。這些最基礎的計算機動作被稱爲指令(instruction)。所謂的程序(program),就是這樣一系列指令的所構成的集合。通過程序,我們可以讓計算機完成複雜的操作。程序大多數時候被存儲爲可執行的文件。這樣一個可執行文件就像是一個菜譜,計算機可以按照菜譜作出可口的飯菜。

那麼,程序進程(process)的區別又是什麼呢?

進程是程序的一個具體實現。只有食譜沒什麼用,我們總要按照食譜的指點真正一步步實行,才能做出菜餚。進程是執行程序的過程,類似於按照食譜,真正去做菜的過程。同一個程序可以執行多次,每次都可以在內存中開闢獨立的空間來裝載,從而產生多個進程。不同的進程還可以擁有各自獨立的IO接口。

操作系統的一個重要功能就是爲進程提供方便,比如說爲進程分配內存空間,管理進程的相關信息等等,就好像是爲我們準備好了一個精美的廚房。

 

看一眼進程

首先,我們可以使用$ps命令來查詢正在運行的進程,比如$ps -eo pid,comm,cmd,下圖爲執行結果:

(-e表示列出全部進程,-o pid,comm,cmd表示我們需要PID,COMMAND,CMD信息)

 

每一行代表了一個進程。每一行又分爲三列。第一列PID(process IDentity)是一個整數,每一個進程都有一個唯一的PID來代表自己的身份,進程也可以根據PID來識別其他的進程。第二列COMMAND是這個進程的簡稱。第三列CMD是進程所對應的程序以及運行時所帶的參數。

(第三列有一些由中括號[]括起來的。它們是kernel的一部分功能,被打扮成進程的樣子以方便操作系統管理。我們不必考慮它們。)

 

我們看第一行,PID爲1,名字爲init。這個進程是執行/bin/init這一文件(程序)生成的。當Linux啓動的時候,init是系統創建的第一個進程,這一進程會一直存在,直到我們關閉計算機。這一進程有特殊的重要性,我們會不斷提到它。

 

如何創建一個進程

實際上,當計算機開機的時候,內核(kernel)只建立了一個init進程。Linux kernel並不提供直接建立新進程的系統調用剩下的所有進程都是init進程通過fork機制建立的。新的進程要通過老的進程複製自身得到,這就是fork。fork是一個系統調用。進程存活於內存中。每個進程都在內存中分配有屬於自己的一片空間 (address space)。當進程fork的時候,Linux在內存中開闢出一片新的內存空間給新的進程,並將老的進程空間中的內容複製到新的空間中,此後兩個進程同時運行。

老進程成爲新進程的父進程(parent process),而相應的,新進程就是老的進程的子進程(child process)。一個進程除了有一個PID之外,還會有一個PPID(parent PID)來存儲的父進程PID。如果我們循着PPID不斷向上追溯的話,總會發現其源頭是init進程。所以說,所有的進程也構成一個以init爲根的樹狀結構。

如下,我們查詢當前shell下的進程:

 

root@vamei:~# ps -o pid,ppid,cmd
  PID  PPID CMD
16935  3101 sudo -i
16939 16935 -bash
23774 16939 ps -o pid,ppid,cmd

我們可以看到,第二個進程bash是第一個進程sudo的子進程,而第三個進程ps是第二個進程的子進程。

 

還可以用$pstree命令來顯示整個進程樹

複製代碼
init─┬─NetworkManager─┬─dhclient
     │                └─2*[{NetworkManager}]
     ├─accounts-daemon───{accounts-daemon}
     ├─acpid
     ├─apache2─┬─apache2
     │         └─2*[apache2───26*[{apache2}]]
     ├─at-spi-bus-laun───2*[{at-spi-bus-laun}]
     ├─atd
     ├─avahi-daemon───avahi-daemon
     ├─bluetoothd
     ├─colord───2*[{colord}]
     ├─console-kit-dae───64*[{console-kit-dae}]
     ├─cron
     ├─cupsd───2*[dbus]
     ├─2*[dbus-daemon]
     ├─dbus-launch
     ├─dconf-service───2*[{dconf-service}]
     ├─dropbox───15*[{dropbox}]
     ├─firefox───27*[{firefox}]
     ├─gconfd-2
     ├─geoclue-master
     ├─6*[getty]
     ├─gnome-keyring-d───7*[{gnome-keyring-d}]
     ├─gnome-terminal─┬─bash
     │                ├─bash───pstree
     │                ├─gnome-pty-helpe
     │                ├─sh───R───{R}
     │                └─3*[{gnome-terminal}]
複製代碼

 

fork通常作爲一個函數被調用。這個函數會有兩次返回,將子進程的PID返回給父進程,0返回給子進程。實際上,子進程總可以查詢自己的PPID來知道自己的父進程是誰,這樣,一對父進程和子進程就可以隨時查詢對方。

通常在調用fork函數之後,程序會設計一個if選擇結構。當PID等於0時,說明該進程爲子進程,那麼讓它執行某些指令,比如說使用exec庫函數(library function)讀取另一個程序文件,並在當前的進程空間執行 (這實際上是我們使用fork的一大目的: 爲某一程序創建進程);而當PID爲一個正整數時,說明爲父進程,則執行另外一些指令。由此,就可以在子進程建立之後,讓它執行與父進程不同的功能。

 

子進程的終結(termination)

當子進程終結時,它會通知父進程,並清空自己所佔據的內存,並在kernel裏留下自己的退出信息(exit code,如果順利運行,爲0;如果有錯誤或異常狀況,爲>0的整數)。在這個信息裏,會解釋該進程爲什麼退出。父進程在得知子進程終結時,有責任對該子進程使用wait系統調用。這個wait函數能從kernel中取出子進程的退出信息,並清空該信息在kernel中所佔據的空間。但是,如果父進程早於子進程終結,子進程就會成爲一個孤兒(orphand)進程。孤兒進程會被過繼給init進程,init進程也就成了該進程的父進程。init進程負責該子進程終結時調用wait函數。

當然,一個糟糕的程序也完全可能造成子進程的退出信息滯留在kernel中的狀況(父進程不對子進程調用wait函數),這樣的情況下,子進程成爲殭屍(zombie)進程。當大量殭屍進程積累時,內存空間會被擠佔。

 

進程與線程(thread)

儘管在UNIX中,進程與線程是有聯繫但不同的兩個東西,但在Linux中,線程只是一種特殊的進程。多個線程之間可以共享內存空間和IO接口。所以,進程是Linux程序的唯一的實現方式。

Linux進程基礎一文中已經提到,Linux以進程爲單位來執行程序。我們可以將計算機看作一個大樓,內核(kernel)是大樓的管理員,進程是大樓的房客。每個進程擁有一個獨立的房間(屬於進程的內存空間),而每個房間都是不允許該進程之外的人進入。這樣,每個進程都只專注於自己乾的事情,而不考慮其他進程,同時也不讓別的進程看到自己的房間內部。這對於每個進程來說是一種保護機制。(想像一下幾百個進程總是要干涉對方,那會有多麼混亂,或者幾百個進程相互偷窺……)

 

然而,在一些情況,我們需要打破封閉的房間,以便和進程交流信息。比如說,內核發現有一個進程在砸牆(硬件錯誤),需要讓進程意識到這樣繼續下去會毀了整個大樓。再比如說,我們想讓多個進程之間合作。這樣,我們就需要一定的通信方式。信號(signal)就是一種向進程傳遞信息的方式。我們可以將信號想象成大樓的管理員往房間的信箱裏塞小紙條。隨後進程取出小紙條,會根據紙條上的內容來採取一定的行動,比如燈壞了,提醒進程使用手電。(當然,也可以完全無視這張紙條,然而在失火這樣緊急的狀況下,無視信號不是個好的選擇)。相對於其他的進程間通信方式(interprocess communication, 比如說pipe, shared memory)來說,信號所能傳遞的信息比較粗糙,只是一個整數。但正是由於傳遞的信息量少,信號也便於管理和使用。信號因此被經常地用於系統管理相關的任務,比如通知進程終結、中止或者恢復等等。

 

給我一個信號

 

信號是由內核(kernel)管理的。信號的產生方式多種多樣,它可以是內核自身產生的,比如出現硬件錯誤(比如出現分母爲0的除法運算,或者出現segmentation fault),內核需要通知某一進程;也可以是其它進程產生的,發送給內核,再由內核傳遞給目標進程。內核中針對每一個進程都有一個表存儲相關信息(房間的信箱)。當內核需要將信號傳遞給某個進程時,就在該進程相對應的表中的適當位置寫入信號(塞入紙條),這樣,就生成(generate)了信號。當該進程執行系統調用時,在系統調用完成後退出內核時,都會順便查看信箱裏的信息。如果有信號,進程會執行對應該信號的操作(signal action, 也叫做信號處理signal disposition),此時叫做執行(deliver)信號。從信號的生成到信號的傳遞的時間,信號處於等待(pending)狀態(紙條還沒有被查看)。我們同樣可以設計程序,讓其生成的進程阻塞(block)某些信號,也就是讓這些信號始終處於等待的狀態,直到進程取消阻塞(unblock)或者無視信號。

 

常見信號

信號所傳遞的每一個整數都被賦予了特殊的意義,並有一個信號名對應該整數。常見的信號有SIGINT, SIGQUIT, SIGCONT, SIGTSTP, SIGALRM等。這些都是信號的名字。你可以通過

$man 7 signal

來查閱更多的信號。

 

上面幾個信號中,

SIGINT   當鍵盤按下CTRL+C從shell中發出信號,信號被傳遞給shell中前臺運行的進程,對應該信號的默認操作是中斷 (INTERRUPT) 該進程。

SIGQUIT  當鍵盤按下CTRL+\從shell中發出信號,信號被傳遞給shell中前臺運行的進程,對應該信號的默認操作是退出 (QUIT) 該進程。

SIGTSTP  當鍵盤按下CTRL+Z從shell中發出信號,信號被傳遞給shell中前臺運行的進程,對應該信號的默認操作是暫停 (STOP) 該進程。

SIGCONT  用於通知暫停的進程繼續

SIGALRM  起到定時器的作用,通常是程序在一定的時間之後才生成該信號。

 

在shell中使用信號

下面我們實際應用一下信號。我們在shell中運行ping:

$ping localhost

此時我們可以通過CTRL+Z來將SIGTSTP傳遞給該進程。shell中顯示:

[1]+  Stopped                 ping localhost

我們使用$ps來查詢ping進程的PID (PID是ping進程的房間號), 在我的機器中爲27397

我們可以在shell中通過$kill命令來向某個進程發出信號:

$kill -SIGCONT  27397

來傳遞SIGCONT信號給ping進程。

 

信號處理 (signal disposition)

在上面的例子中,所有的信號都採取了對應信號的默認操作。但這並不絕對。當進程決定執行信號的時候,有下面幾種可能:

1) 無視(ignore)信號,信號被清除,進程本身不採取任何特殊的操作

2) 默認(default)操作。每個信號對應有一定的默認操作。比如上面SIGCONT用於繼續進程。

3) 自定義操作。也叫做獲取 (catch) 信號。執行進程中預設的對應於該信號的操作。

進程會採取哪種操作,要根據該進程的程序設計。特別是獲取信號的情況,程序往往會設置一些比較長而複雜的操作(通常將這些操作放到一個函數中)。

 

信號常常被用於系統管理,所以它的內容相當龐雜。深入瞭解信號,需要一定的Linux環境編程知識。

 

Linux的進程相互之間有一定的關係。比如說,在Linux進程基礎中,我們看到,每個進程都有父進程,而所有的進程以init進程爲根,形成一個樹狀結構。我們在這裏講解進程組會話,以便以更加豐富的方式了管理進程。

 

進程組 (process group)

每個進程都會屬於一個進程組(process group),每個進程組中可以包含多個進程。進程組會有一個進程組領導進程 (process group leader),領導進程的PID (PID見Linux進程基礎)成爲進程組的ID (process group ID, PGID),以識別進程組。

$ps -o pid,pgid,ppid,comm | cat

  PID  PGID  PPID COMMAND
17763 17763 17751 bash
18534 18534 17763 ps
18535 18534 17763 cat


PID爲進程自身的ID,PGID爲進程所在的進程組的ID, PPID爲進程的父進程ID。從上面的結果,我們可以推測出如下關係:

圖中箭頭表示父進程通過fork和exec機制產生子進程。ps和cat都是bash的子進程。進程組的領導進程的PID成爲進程組ID。領導進程可以先終結。此時進程組依然存在,並持有相同的PGID,直到進程組中最後一個進程終結。

 

我們將一些進程歸爲進程組的一個重要原因是我們可以將信號發送給一個進程組。進程組中的所有進程都會收到該信號。我們會在下一部分深入討論這一點。

 

會話 (session)

更進一步,在shell支持工作控制(job control)的前提下,多個進程組還可以構成一個會話 (session)。bash(Bourne-Again shell)支持工作控制,而sh(Bourne shell)並不支持。

會話是由其中的進程建立的,該進程叫做會話的領導進程(session leader)。會話領導進程的PID成爲識別會話的SID(session ID)。會話中的每個進程組稱爲一個工作(job)。會話可以有一個進程組成爲會話的前臺工作(foreground),而其他的進程組是後臺工作(background)。每個會話可以連接一個控制終端(control terminal)。當控制終端有輸入輸出時,都傳遞給該會話的前臺進程組。由終端產生的信號,比如CTRL+Z, CTRL+\,會傳遞到前臺進程組。

會話的意義在於將多個工作囊括在一個終端,並取其中的一個工作作爲前臺,來直接接收該終端的輸入輸出以及終端信號。 其他工作在後臺運行。

 

一個命令可以通過在末尾加上&方式讓它在後臺運行:

$ping localhost > log &

此時終端顯示:

[1] 10141

括號中的1表示工作號,而10141爲PGID

我們通過如下方式查詢更加詳細的信息:

$ps -o pid,pgid,ppid,sid,tty,comm

(tty表示控制終端)

 

信號可以通過kill

$kill -SIGTERM -10141

或者

$kill -SIGTERM %1

的方式來發送給工作組。上面的兩個命令,一個是發送給PGID(通過在PGID前面加-來表示是一個PGID而不是PID),一個是發送給工作1(%1),兩者等價。

 

一個工作可以通過$fg從後臺工作變爲前臺工作:

$cat > log &

$fg %1

當我們運行第一個命令後,由於工作在後臺,我們無法對命令進行輸入,直到我們將工作帶入前臺,才能向cat命令輸入。在輸入完成後,按下CTRL+D來通知shell輸入結束。

 

進程組(工作)的概念較爲簡單易懂。而會話主要是針對一個終端建立的。當我們打開多個終端窗口時,實際上就創建了多個終端會話。每個會話都會有自己的前臺工作和後臺工作。這樣,我們就爲進程增加了管理和運行的層次。在沒有圖形化界面的時代,會話允許用戶通過shell進行多層次的進程發起和管理。比如說,我可以通過shell發起多個後臺工作,而此時標準輸入輸出並不被佔據,我依然可以繼續其它的工作。如今,圖形化界面可以幫助我們解決這一需求,但工作組和會話機制依然在Linux的許多地方應用。


我們在Linux信號基礎中已經說明,信號可以看作一種粗糙的進程間通信(IPC, interprocess communication)的方式,用以向進程封閉的內存空間傳遞信息。爲了讓進程間傳遞更多的信息量,我們需要其他的進程間通信方式。這些進程間通信方式可以分爲兩種:

  • 管道(PIPE)機制。在Linux文本流中,我們提到可以使用管道將一個進程的輸出和另一個進程的輸入連接起來,從而利用文件操作API來管理進程間通信。在shell中,我們經常利用管道將多個進程連接在一起,從而讓各個進程協作,實現複雜的功能。
  • 傳統IPC (interprocess communication)。我們主要是指消息隊列(message queue),信號量(semaphore),共享內存(shared memory)。這些IPC的特點是允許多進程之間共享資源,這與多線程共享heap和global data相類似。由於多進程任務具有併發性 (每個進程包含一個進程,多個進程的話就有多個線程),所以在共享資源的時候也必須解決同步的問題 (參考Linux多線程與同步)。

 

管道與FIFO文件

一個原始的IPC方式是所有的進程通過一個文件交流。比如我在紙(文件)上寫下我的名字和年紀。另一個人讀這張紙,會知道我的名字和年紀。他也可以在同一張紙上寫下他的信息,而當我讀這張紙的話,同樣也可以知道別人的信息。但是,由於硬盤讀寫比較慢,所以這個方式效率很低。那麼,我們是否可以將這張紙放入內存中以提高讀寫速度呢?

Linux文本流中,我們已經講解了如何在shell中使用管道連接多個進程。同樣,許多編程語言中,也有一些命令用以實現類似的機制,比如在Python子進程中使用Popen和PIPE,在C語言中也有popen庫函數來實現管道 (shell中的管道就是根據此編寫的)。管道是由內核管理的一個緩衝區(buffer),相當於我們放入內存中的一個紙條。管道的一端連接一個進程的輸出。這個進程會向管道中放入信息。管道的另一端連接一個進程的輸入,這個進程取出被放入管道的信息。一個緩衝區不需要很大,它被設計成爲環形的數據結構,以便管道可以被循環利用。當管道中沒有信息的話,從管道中讀取的進程會等待,直到另一端的進程放入信息。當管道被放滿信息的時候,嘗試放入信息的進程會等待,直到另一端的進程取出信息。當兩個進程都終結的時候,管道也自動消失。


從原理上,管道利用fork機制建立(參考Linux進程基礎Linux從程序到進程),從而讓兩個進程可以連接到同一個PIPE上。最開始的時候,上面的兩個箭頭都連接在同一個進程Process 1上(連接在Process 1上的兩個箭頭)。當fork複製進程的時候,會將這兩個連接也複製到新的進程(Process 2)。隨後,每個進程關閉自己不需要的一個連接 (兩個黑色的箭頭被關閉; Process 1關閉從PIPE來的輸入連接,Process 2關閉輸出到PIPE的連接),這樣,剩下的紅色連接就構成了如上圖的PIPE。

由於基於fork機制,所以管道只能用於父進程和子進程之間,或者擁有相同祖先的兩個子進程之間 (有親緣關係的進程之間)。爲了解決這一問題,Linux提供了FIFO方式連接進程。FIFO又叫做命名管道(named PIPE)。

FIFO (First in, First out)爲一種特殊的文件類型,它在文件系統中有對應的路徑。當一個進程以讀(r)的方式打開該文件,而另一個進程以寫(w)的方式打開該文件,那麼內核就會在這兩個進程之間建立管道,所以FIFO實際上也由內核管理,不與硬盤打交道。之所以叫FIFO,是因爲管道本質上是一個先進先出隊列數據結構,最早放入的數據被最先讀出來(好像是傳送帶,一頭放貨,一頭取貨),從而保證信息交流的順序。FIFO只是借用了文件系統(file system, 參考Linux文件管理背景知識)來爲管道命名。寫模式的進程向FIFO文件中寫入,而讀模式的進程從FIFO文件中讀出。當刪除FIFO文件時,管道連接也隨之消失。FIFO的好處在於我們可以通過文件的路徑來識別管道,從而讓沒有親緣關係的進程之間建立連接。

 

傳統IPC

這幾種傳統IPC實際上有很悠久的歷史,所以其實現方式也並不完善 (比如說我們需要某個進程負責刪除建立的IPC)。一個共同的特徵是它們並不使用文件操作的API。對於任何一種IPC來說,你都可以建立多個連接,並使用鍵值(key)作爲識別的方式。我們可以在一個進程中中通過鍵值來使用的想要那一個連接 (比如多個消息隊列,而我們選擇使用其中的一個)。鍵值可以通過某種IPC方式在進程間傳遞(比如說我們上面說的PIPE,FIFO或者寫入文件),也可以在編程的時候內置於程序中。

在幾個進程共享鍵值的情況下,這些傳統IPC非常類似於多線程共享資源的方式(參看Linux多線程與同步):

  • semaphoremutex類似,用於處理同步問題。我們說mutex像是一個只能容納一個人的洗手間,那麼semaphore就像是一個能容納N個人的洗手間。其實從意義上來說,semaphore就是一個計數鎖(我覺得將semaphore翻譯成爲信號量非常容易讓人混淆semaphore與signal),它允許被N個進程獲得。當有更多的進程嘗試獲得semaphore的時候,就必須等待有前面的進程釋放鎖。當N等於1的時候,semaphore與mutex實現的功能就完全相同。許多編程語言也使用semaphore處理多線程同步的問題。一個semaphore會一直存在在內核中,直到某個進程刪除它。
  • 共享內存與多線程共享global data和heap類似。一個進程可以將自己內存空間中的一部分拿出來,允許其它進程讀寫。當使用共享內存的時候,我們要注意同步的問題。我們可以使用semaphore同步,也可以在共享內存中建立mutex或其它的線程同步變量來同步。由於共享內存允許多個進程直接對同一個內存區域直接操作,所以它是效率最高的IPC方式。

消息隊列(message queue)與PIPE相類似。它也是建立一個隊列,先放入隊列的消息被最先取出。不同的是,消息隊列允許多個進程放入消息,也允許多個進程取出消息。每個消息可以帶有一個整數識別符(message_type)。你可以通過識別符對消息分類 (極端的情況是將每個消息設置一個不同的識別符)。某個進程從隊列中取出消息的時候,可以按照先進先出的順序取出,也可以只取出符合某個識別符的消息(有多個這樣的消息時,同樣按照先進先出的順序取出)。消息隊列與PIPE的另一個不同在於它並不使用文件API。最後,一個隊列不會自動消失,它會一直存在於內核中,直到某個進程刪除該隊列。

 

多進程協作可以幫助我們充分利用多核和網絡時代帶來的優勢。多進程可以有效解決計算瓶頸的問題。互聯網通信實際上也是一個進程間通信的問題,只不過這多個進程分佈於不同的電腦上。網絡連接是通過socket實現的。由於socket內容龐大,所以我們不在這裏深入。一個小小的註解是,socket也可以用於計算機內部進程間的通信。


 

原文地址:http://www.cnblogs.com/vamei/archive/2012/09/20/2694466.html



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章