fork，你拿什麼證明你的寫時拷貝（COW）

前段時間在學習內核的進程管理方面的東西，看了進程創建和進程調度的代碼，想寫個大而全的東西，即有內核代碼分析，又有一些實驗在效果上證明內核的代碼。但是這篇文章很難產，感覺自己還是駕馭不了這個宏大的主題。好久沒寫文章了，今天就放棄這個想法，寫一個簡單的東西。

我們都知道fork創建進程的時候，並沒有真正的copy內存，因爲我們知道，對於fork來講，有一個很討厭的東西叫exec系列的系統調用，它會勾引子進程另起爐竈。如果創建子進程就要內存拷貝的的話，一執行exec，辛辛苦苦拷貝的內存又被完全放棄了。

內核採用的策略是寫時拷貝，換言之，先把頁表映射關係建立起來，並不真正將內存拷貝。如果進程讀訪問，什麼都不許要做，如果進程寫訪問，情況就不同了，因爲父子進程的內存空間是獨立的，不應該互相干擾。所以這時候不能在公用同一塊內存了，否則子進程的改動會被父進程覺察到。

下圖是linux toolbox裏面的一張圖，比較好，我就拷貝出來了（如果有侵權通知立刪），很好的解釋了COW的原理。

下面我們看下，fork一個進程，在kernel/fork.c文件中那些函數調到了。vfork，fork，pthread_create，最終，都會調用do_fork，所不同的就是傳遞的標誌位不同，標誌位又控制父子進程，或者父進程和線程他們哪些資源是共用的，哪些資源需要各存一份。

#include<stdio.h>

#include<stdlib.h>

#include<unistd.h>

#include<sys/types.h>

#include<sys/wait.h>

#include<string.h>

int g_var[102400] = {0};

int main()

{

        int l_var[102400] = {0};

        fprintf(stderr,"g_var 's address is %lx\n",(unsigned
long)g_var);

        fprintf(stderr,"l_var 's address is %lx\n",(unsigned
long)l_var);

        memset(g_var,0,sizeof(g_var));

        memset(l_var,0,sizeof(l_var));

        sleep(15);

        int ret = fork();

        if(ret < 0 )

        {

                fprintf(stderr,"fork failed ,nothing to do now!\n");

                return -1;

        }

        if(ret == 0)

        {

                sleep(10);

                fprintf(stderr, "I begin to write now\n");

                fprintf(stderr,"address at %-10lx value(%-6d) will cause page
falut\n",

                               (unsigned long)(g_var+2048),g_var[2048]);

                g_var[2048] = 4;

                sleep(6);

                fprintf(stderr,"address at %-10lx value(%-6d) will cause page
fault\n",

                                (unsigned long)(g_var+10240),g_var[10240]);

                g_var[10240] = 8;

                sleep(4);

                fprintf(stderr,"address at %-10lx value(%-6d) will cause page
falut\n",

                                (unsigned long)(l_var+2048),l_var[2048]);

                l_var[2048] = 8;

                sleep(4);

                fprintf(stderr,"address at %-10lx value(%-6d) will cause page
falut\n",

                                 (unsigned long)(l_var+10240),l_var[10240]);

                l_var[10240] = 8;

        }

        if(ret >0)

        {

                waitpid(-1,NULL,0);

                fprintf(stderr,"child process exit, now check the value\n");

                fprintf(stderr,"g_var[%-6d] = %-4d\ng_var[%-6d] = %-4d\n",

                                2048,g_var[2048],10240,g_var[10240]);

                fprintf(stderr,"l_var[%-6d] = %-4d\nl_var[%-6d] = %-4d\n",

                                2048,l_var[2048],10240,l_var[10240]);

                return 0;

        }

}

這裏面執行了一個fork系統調用，我們調用下systemtap腳本看下他都調用了kernel/fork.c裏面的那些函數：systemtap腳本如下：

probe kernel.function("*@kernel/fork.c")

{

        if(pid() == target())

        { 

                printf("PID(%d) ,execname(%s) probe point:(%s) \n",pid(),execname(),pp());

        } 

}

probe timer.s(60)

{

        exit();

}

root@libin:~/program/systemtap/process#
stap fork_call.stp -x 7192

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("do_fork@/build/buildd/linux-2.6.32/kernel/fork.c:1364")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_process@/build/buildd/linux-2.6.32/kernel/fork.c:978")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("dup_task_struct@/build/buildd/linux-2.6.32/kernel/fork.c:221")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("account_kernel_stack@/build/buildd/linux-2.6.32/kernel/fork.c:141")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("rt_mutex_init_task@/build/buildd/linux-2.6.32/kernel/fork.c:941")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_flags@/build/buildd/linux-2.6.32/kernel/fork.c:923")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("posix_cpu_timers_init@/build/buildd/linux-2.6.32/kernel/fork.c:960")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_files@/build/buildd/linux-2.6.32/kernel/fork.c:747")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_fs@/build/buildd/linux-2.6.32/kernel/fork.c:727")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_sighand@/build/buildd/linux-2.6.32/kernel/fork.c:799")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_signal@/build/buildd/linux-2.6.32/kernel/fork.c:854")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("posix_cpu_timers_init_group@/build/buildd/linux-2.6.32/kernel/fork.c:826")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_mm@/build/buildd/linux-2.6.32/kernel/fork.c:680")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("dup_mm@/build/buildd/linux-2.6.32/kernel/fork.c:624")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("mm_init@/build/buildd/linux-2.6.32/kernel/fork.c:448")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("mm_alloc_pgd@/build/buildd/linux-2.6.32/kernel/fork.c:403")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("mm_init_aio@/build/buildd/linux-2.6.32/kernel/fork.c:440")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("mm_init_owner@/build/buildd/linux-2.6.32/kernel/fork.c:951")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("dup_mmap@/build/buildd/linux-2.6.32/kernel/fork.c:278")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("copy_io@/build/buildd/linux-2.6.32/kernel/fork.c:774")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("__cleanup_sighand@/build/buildd/linux-2.6.32/kernel/fork.c:816")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("__cleanup_signal@/build/buildd/linux-2.6.32/kernel/fork.c:916")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("mm_release@/build/buildd/linux-2.6.32/kernel/fork.c:570")) 

PID(7192) ,execname(fork_cow) probe
point:(kernel.function("mmput@/build/buildd/linux-2.6.32/kernel/fork.c:509"))

fork調用了do_fork這個內核函數，這個函數比較大，主幹程序是copy_process，這裏有一系列的copy_xxx系列產品，這個系列產品會根據傳進來的標誌位，來決定那些資源子進程需要copy一份，那些不用拷貝了，直接用父進程的就可以了。我們關注的copy_mm這個函數，如果用戶標誌位中的CLONE_VM置了1，得了，和父進程共享一份就成了，不需要費勁在copy一份了：

if (clone_flags & CLONE_VM) {

    atomic_inc(&oldmm->mm_users);

    mm = oldmm;

    goto good_mm;

  }

這個地方語意很怪，正常應該是CLONE_VM是1，我應該copy一份，但是正好相反，CLONE_XX意味值share_XX,意味着，不需要copy。

需要copy內存的話，真正幹活的函數是dup_mm，pthread_create函數就不會走到dup_mm函數，因爲他不需要copy一份父進程的內存空間，他是共用一份內存空間的。請看下面pthread_create引發的do_fork。

root@libin:~/program/C/process_share# ./pthread_cmp &

[3] 7787

root@libin:~/program/C/process_share#
thread OUT

thread IN

thread OUT

[2]- Done ./pthread_cmp

[3]+ Done ./pthread_cmp

root@libin:~/program/systemtap/process#
stap fork_call.stp -x 7787

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("do_fork@/build/buildd/linux-2.6.32/kernel/fork.c:1364")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_process@/build/buildd/linux-2.6.32/kernel/fork.c:978")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("dup_task_struct@/build/buildd/linux-2.6.32/kernel/fork.c:221")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("account_kernel_stack@/build/buildd/linux-2.6.32/kernel/fork.c:141")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("rt_mutex_init_task@/build/buildd/linux-2.6.32/kernel/fork.c:941")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_flags@/build/buildd/linux-2.6.32/kernel/fork.c:923")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("posix_cpu_timers_init@/build/buildd/linux-2.6.32/kernel/fork.c:960")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_files@/build/buildd/linux-2.6.32/kernel/fork.c:747")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_fs@/build/buildd/linux-2.6.32/kernel/fork.c:727")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_sighand@/build/buildd/linux-2.6.32/kernel/fork.c:799")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_signal@/build/buildd/linux-2.6.32/kernel/fork.c:854")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_mm@/build/buildd/linux-2.6.32/kernel/fork.c:680")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("copy_io@/build/buildd/linux-2.6.32/kernel/fork.c:774")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("mm_release@/build/buildd/linux-2.6.32/kernel/fork.c:570")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("mmput@/build/buildd/linux-2.6.32/kernel/fork.c:509")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("__cleanup_sighand@/build/buildd/linux-2.6.32/kernel/fork.c:816")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("mm_release@/build/buildd/linux-2.6.32/kernel/fork.c:570")) 

PID(7787) ,execname(pthread_cmp) probe
point:(kernel.function("mmput@/build/buildd/linux-2.6.32/kernel/fork.c:509"))

dup_mm這裏面有兩個分支指的注意

1 mm_init-->mm_alloc_pgd

2 dup_mmap

這兩個分支真正將父進程的頁表拷貝了一份，尤其是dup_mmap，沿着copy_page_range-->copy_pud_range---> copy_pmd_range--->copy_pte_range,一路向西，將頁表拷貝了一份。

由於fork創建的子進程並沒有拷貝整個內存，所以，當子進程修改內存某地址對應的值的時候，會產生缺頁中斷，page fault 。我的C程序中有will cause page fault的字樣，只要是寫時拷貝，就會出現page fault 。所以我們只需要在程序運行過程中監控page_fault，只要我們修改的變量的地址，引起了page fault，就證明fork 採用了COW 。

看監控程序systemtap腳本：

#! /usr/bin/env
stap

global fault_entry_time, fault_address, fault_access

global time_offset

probe begin { time_offset = gettimeofday_us() }

probe vm.pagefault {

  if(pid() == target() || ppid() == target())

  {

      t = gettimeofday_us() 

      p = pid() 

      fault_entry_time[p] = t

      fault_address[p] = address

      fault_access[p] = write_access ? "w" : "r"

  } 

} 

probe vm.pagefault.return {

  if(pid() == target() || ppid() == target())

  { 

      t=gettimeofday_us() 

      p = pid() 

      if (!(p in fault_entry_time)) next 

      e = t - fault_entry_time[p] 

      if (vm_fault_contains(fault_type,VM_FAULT_MINOR)) {

        ftype="minor" 

      } else if (vm_fault_contains(fault_type,VM_FAULT_MAJOR)) {

        ftype="major" 

      } else {

        next #only want to deal with minor and major page faults

      } 

      printf("%d:%d:%p:%s:%s:%d\n",

      t - time_offset, p, fault_address[p], fault_access[p], ftype, e)

      #free up memory

      delete fault_entry_time[p]

      delete fault_address[p]

      delete fault_access[p]

  }

}

probe timer.s(100){

   exit();

}

systemtap腳本的含義是跟蹤指定進程和子進程，如果有page fault 會打印一條記錄出來。

下面看現象：

root@libin:~/program/C/process_share#
g_var 's address is 804a060

l_var 's address is bf8edf0c

I begin to write now

address at 804c060 value(0 ) will cause page falut

address at 8054060 value(0 ) will cause page fault

address at bf8eff0c value(0 ) will cause page falut

address at bf8f7f0c value(0 ) will cause page falut

.....

root@libin:~/program/systemtap# 

root@libin:~/program/systemtap# 

root@libin:~/program/systemtap#
stap pfaults.stp -x 9081

4767196:9081:0xb77ec72c:w:minor:35

4767230:9092:0xb77ec728:w:minor:23

4767239:9081:0xbf8edea8:w:minor:29

.....

14768229:9092:0x0804c060:w:minor:13

20768379:9092:0x08054060:w:minor:37

24768564:9092:0xbf8eff0c:w:minor:39

28768745:9092:0xbf8f7f0c:w:minor:39

...

這寫個空格的出現是由於我手工敲的，因爲中間有sleep，所以我有足夠的時間敲回車。

產生了page_fault，證明了我們的推斷。

另外我在調試的過程中發現，如果不調用memset，子進程退出後，父進程讀訪問數組指定位置的變量，也會出現page fault，有心的筒子可以自行驗證。

提示：代碼在寫博客的過程中有一些微調，輸出格式有調整，也有其他的一些微調，所以可能輸出和代碼對應並不是100% 。對此有困惑的筒子可以自行驗證，總之我沒有造假了，呵呵。

參考文獻：

1 systemtap example

2 深入linux 內核架構

3 Linux Toolbox

原文鏈接：http://blog.chinaunix.net/uid-24774106-id-3361500.html

FreeeLinux

發佈了357 篇原創文章 · 獲贊 168 · 訪問量 52萬+

他的留言板關注

fork，你拿什麼證明你的寫時拷貝（COW）

fork，你拿什麼證明你的寫時拷貝（COW）

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結