在C/C++ 中常用的內存分配和管理的方式有很多,如智能指針, STL容器, new/delete, malloc/free, brk, sbrk等,linux有一種比較底層的內存管理方式mmap/munmap,需要完全自己來維護分配的虛擬內存,沒有任何其他輔助的數據結構來幫助維護內存空間。mmap系統調用可以分配一段匿名的虛擬內存區域,也可以映射一個文件到內存,這個映射讓文件操作像直接操作內存一樣,這種方式稱之爲內存映射。
mmap()必須以內存頁(PAGE_SIZE)爲單位進行映射,而內存也只能以頁爲單位進行映射,若要映射非PAGE_SIZE整數倍的地址範圍,要先進行內存對齊,強行以PAGE_SIZE的倍數大小進行映射。
mmap操作提供了一種機制,讓用戶程序直接訪問設備內存,這種機制,相比較在用戶空間和內核空間互相拷貝數據,效率更高。在要求高性能的應用中比較常用,但在面向流的設備不能進行mmap,mmap的實現和硬件有關。
一、在終端裏輸入 man mmap 可以查看此函數的API文檔,此函數的具體描述如下:
#include <sys/mman.h>
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
int munmap(void *start, size_t length);
函數形式參數:
start : 指向欲映射的內存起始地址,通常設爲 NULL,代表讓系統自動選定地址,映射成功後返回該地址。
length: 代表將文件中多大的部分映射到內存,即映射區的長度。
prot : 映射區域的保護方式,不能與文件的打開模式衝突。可以爲以下幾種方式:
PROT_EXEC 映射區域可被執行
PROT_READ 映射區域可被讀取
PROT_WRITE 映射區域可被寫入
PROT_NONE 映射區域不能存取
以上的方式可以通過or運算(“|”)合理地組合在一起
flags : 影響映射區域的各種特性,指定映射對象的類型,映射選項和映射頁是否可以共享。在調用mmap()時必須要指定MAP_SHARED 或MAP_PRIVATE,flags的值可以是一個或者多個以下位的組合體:
MAP_FIXED 如果參數start所指的地址無法成功建立映射時,則放棄映射,不對地址做修正。通常不鼓勵用此旗標。
MAP_SHARED 對映射區域的寫入數據會複製迴文件內,而且允許其他映射該文件的進程共享。與其它所有映射這個對象的進程共享映射空間。對共享區的寫入,相當於輸出到文件。直到msync()或者munmap()被調用,文件實際上不會被更新。
MAP_PRIVATE 對映射區域的寫入操作會產生一個映射文件的複製,即私人的“寫入時複製”(copy on write)對此區域作的任何修改都不會寫回原來的文件內容,寫入不會影響到原文件。這個標誌和以上標誌是互斥的,只能使用其中一個。
MAP_ANONYMOUS建立匿名映射。此時會忽略參數fd,不涉及文件,而且映射區域無法和其他進程共享。
MAP_DENYWRITE只允許對映射區域的寫入操作,其他對文件直接寫入的操作將會被拒絕。
MAP_LOCKED 將映射區域鎖定住,這表示該區域不會被置換(swap),從而防止頁面被交換出內存。
MAP_NORESERVE //不要爲這個映射保留交換空間。當交換空間被保留,對映射區修改的可能會得到保證。當交換空間不被保留,同時內存不足,對映射區的修改會引起段違例信號。
MAP_LOCKED //鎖定映射區的頁面,從而防止頁面被交換出內存。
MAP_GROWSDOWN //用於堆棧,告訴內核VM系統,映射區可以向下擴展。
MAP_ANON //MAP_ANONYMOUS的別稱,不再被使用。
MAP_FILE //兼容標誌,被忽略。
MAP_32BIT //將映射區放在進程地址空間的低2GB,MAP_FIXED指定時會被忽略。當前這個標誌只在x86-64平臺上得到支持。
MAP_POPULATE //爲文件映射通過預讀的方式準備好頁表。隨後對映射區的訪問不會被頁違例阻塞。
MAP_NONBLOCK //僅和MAP_POPULATE一起使用時纔有意義。不執行預讀,只爲已存在於內存中的頁面建立頁表入口。
fd : 要映射到內存中的文件描述符。如果使用匿名內存映射時,即flags中設置了MAP_ANONYMOUS,fd設爲-1。有些系統不支持匿名內存映射,則可以使用fopen打開/dev/zero文件,
然後對該文件進行映射,可以同樣達到匿名內存映射的效果。
offset:文件映射的偏移量,通常設置爲0,代表從文件最前方開始對應,offset必須是PAGE_SIZE的整數倍。
返回值:
成功執行時,mmap() 若映射成功則返回映射區的內存起始地址,munmap()返回0。失敗時,mmap()返回MAP_FAILED[其值爲(void *)-1],錯誤原因存於errno 中,munmap返回-1。
錯誤代碼:
EBADF 參數fd 不是有效的文件描述詞
EACCES 存取權限有誤。如果是MAP_PRIVATE 情況下文件必須可讀,使用MAP_SHARED則要有PROT_WRITE以及該文件要能寫入。
EINVAL 參數start、length 或offset有一個不合法。
EAGAIN 文件被鎖住,或是有太多內存被鎖住。
ENOMEM 內存不足。
errno返回值:
errno被設爲以下的某個值:
EACCES:訪問出錯
EAGAIN:文件已被鎖定,或者太多的內存已被鎖定
EBADF:fd不是有效的文件描述詞
EINVAL:一個或者多個參數無效
ENFILE:已達到系統對打開文件的限制
ENODEV:指定文件所在的文件系統不支持內存映射
ENOMEM:內存不足,或者進程已超出最大內存映射數量
EPERM:權能不足,操作不允許
ETXTBSY:已寫的方式打開文件,同時指定MAP_DENYWRITE標誌
SIGSEGV:試着向只讀區寫入
SIGBUS:試着訪問不屬於進程的內存區
用戶層的調用很簡單,其具體功能就是直接將物理內存直接映射到用戶虛擬內存,使用戶空間可以直接對物理空間操作。但是對於內核層而言,其具體實現比較複雜。
系統調用:
mmap()系統調用使得進程之間通過映射同一個普通文件實現共享內存。普通文件被映射到進程地址空間後,進程可以向訪問普通內存一樣對文件進行訪問,不必再調用read(),write()等操作。
注:實際上,mmap()系統調用並不是完全爲了用於共享內存而設計的。它本身提供了不同於一般對普通文件的訪問方式,進程可以像讀寫內存一樣對普通文件的操作。
而Posix或SystemV的共享內存IPC則純粹用於共享目的,當然mmap()實現共享內存也是其主要應用之一。
系統調用mmap()用於共享內存的兩種方式:
(1)使用普通文件提供的內存映射:適用於任何進程之間;此時,需要打開或創建一個文件,然後再調用mmap();典型調用代碼如下:
fd=open(name, flag, mode);
if(fd<0)
...
ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);
通過mmap()實現共享內存的通信方式有許多特點和要注意的地方,我們將在範例中進行具體說明。
(2)使用特殊文件提供匿名內存映射:適用於具有親緣關係的進程之間;由於父子進程特殊的親緣關係,在父進程中先調用mmap(),然後調用fork()。
那麼在調用fork()之後,子進程繼承父進程匿名映射後的地址空間,同樣也繼承mmap()返回的地址,這樣,父子進程就可以通過映射區域進行通信了。
注意,這裏不是一般的繼承關係。一般來說,子進程單獨維護從父進程繼承下來的一些變量。而mmap()返回的地址,卻由父子進程共同維護。
對於具有親緣關係的進程實現共享內存最好的方式應該是採用匿名內存映射的方式。此時,不必指定具體的文件,只要設置相應的標誌即可。
int munmap( void * addr, size_t len )
該調用在進程地址空間中解除一個映射關係,addr是調用mmap()時返回的地址,len是映射區的大小。當映射關係解除後,對原來映射地址的訪問將導致段錯誤發生。
int msync ( void * addr , size_t len, int flags)
一般說來,進程在映射空間的對共享內容的改變並不直接寫回到磁盤文件中,往往在調用munmap()後才執行該操作。可以通過調用msync()實現磁盤上文件內容與共享內存區的內容一致。
程序例:
下面將給出使用mmap()的兩個範例。範例1給出兩個進程通過映射普通文件實現共享內存通信,範例2給出父子進程通過匿名映射實現共享內存。
系統調用 mmap()有許多有趣的地方,下面是通過mmap()映射普通文件實現進程間的通信的範例,我們通過該範例來說明mmap()實現共享內存的特點及注意事項。
範例1:兩個進程通過映射普通文件實現共享內存通信
範例1包含兩個子程序:map_normalfile1.c及map_normalfile2.c。編譯兩個程序,可執行文件分別爲 map_normalfile1及map_normalfile2。
兩個程序通過命令行參數指定同一個文件來實現共享內存方式的進程間通信。 map_normalfile2試圖打開命令行參數指定的一個普通文件,把該文件映射到進程的地址空間,並對映射後的地址空間進行寫操作。
map_normalfile1把命令行參數指定的文件映射到進程地址空間,然後對映射後的地址空間執行讀操作。這樣,兩個進程通過命令行參數指定同一個文件來實現共享內存方式的進程間通信。
下面是兩個程序代碼:
/*-------------map_normalfile1.c-----------*/
#include <sys/mman.h>
#include <sys/types.h>
#include <fcntl.h>
#include <unistd.h>
typedef struct{
char name[4];
int age;
}people;
main(int argc, char** argv) // map a normal file as shared mem:
{
int fd,i;
people *p_map;
char temp;
fd = open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);
if(fd < 0)
{
printf("error open\n");
exit(1);
}
lseek(fd,sizeof(people)*5-1,SEEK_SET);
write(fd,"",1);
p_map = (people*) mmap( NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0 );
close( fd );
temp = 'a';
for(i=0; i<10; i++)
{
temp += 1;
memcpy( ( *(p_map+i) ).name, &temp,2 );
( *(p_map+i) ).age = 20+i;
}
printf(" initialize over \n ");
sleep(10);
munmap( p_map, sizeof(people)*10 );
printf( "umap ok \n" );
}
示例2:
/*-------------map_normalfile2.c-----------*/
#include <sys/mman.h>
#include <sys/types.h>
#include <fcntl.h>
#include <unistd.h>
typedef struct{
char name[4];
int age;
}people;
main(int argc, char** argv) // map a normal file as shared mem:
{
int fd,i;
people *p_map;
fd=open( argv[1],O_CREAT|O_RDWR,00777 );
p_map = (people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);
for(i = 0;i<10;i++)
{
printf( "name: %s age %d;\n",(*(p_map+i)).name, (*(p_map+i)).age );
}
munmap( p_map,sizeof(people)*10 );
}
map_normalfile1.c 首先定義了一個people數據結構,(在這裏採用數據結構的方式是因爲,共享內存區的數據往往是有固定格式的,這由通信的各個進程決定,採用結構的方式有普遍代表性)。
map_normfile1打開或創建一個文件,並把文件的長度設置爲5個people結構大小。然後從mmap()的返回地址開始,設置了10個people結構。
然後,進程睡眠10秒鐘,等待其他進程映射同一個文件,最後解除映射。
map_normfile2.c只是簡單的映射一個文件,並以people數據結構的格式從mmap()返回的地址處讀取10個people結構,並輸出讀取的值,然後解除映射。
分別把兩個程序編譯成可執行文件map_normalfile1和map_normalfile2後,在一個終端上先運行./map_normalfile2 /tmp/test_shm,程序輸出結果如下:
initialize over
umap ok
在map_normalfile1輸出initialize over 之後,輸出umap ok之前,在另一個終端上運行map_normalfile2 /tmp/test_shm,將會產生如下輸出(爲了節省空間,輸出結果爲稍作整理後的結果):
name: b age 20; name: c age 21; name: d age 22; name: e age 23; name: f age 24;
name: g age 25; name: h age 26; name: I age 27; name: j age 28; name: k age 29;
在map_normalfile1 輸出umap ok後,運行map_normalfile2則輸出如下結果:
name: b age 20; name: c age 21; name: d age 22; name: e age 23; name: f age 24;
name: age 0; name: age 0; name: age 0; name: age 0; name: age 0;
從程序的運行結果中可以得出的結論 :
1、 最終被映射文件的內容的長度不會超過文件本身的初始大小,即映射不能改變文件的大小;
2、可以用於進程通信的有效地址空間大小大體上受限於被映射文件的大小,但不完全受限於文件大小。
打開文件被截短爲5個people結構大小,而在 map_normalfile1中初始化了10個people數據結構,在恰當時候(map_normalfile1輸出initialize over 之後,輸出umap ok之前)調用map_normalfile2
會發現map_normalfile2將輸出全部10個people結構的值,後面將給出詳細討論。
注:在linux中,內存的保護是以頁爲基本單位的,即使被映射文件只有一個字節大小,內核也會爲映射分配一個頁面大小的內存。
當被映射文件小於一個頁面大小時,進程可以對從mmap()返回地址開始的一個頁面大小進行訪問,而不會出錯;
但是,如果對一個頁面以外的地址空間進行訪問,則導致錯誤發生,後面將進一步描述。因此,可用於進程間通信的有效地址空間大小不會超過文件大小及一個頁面大小的和。
3、文件一旦被映射後,調用mmap()的進程對返回地址的訪問是對某一內存區域的訪問,暫時脫離了磁盤上文件的影響。所有對mmap()返回地址空間的操作只在內存中有意義,
只有在調用了munmap()後或者msync()時,才把內存中的相應內容寫回磁盤文件,所寫內容仍然不能超過文件的大小。
程序例子:
例一:
//
// main.cpp
//
//
// Created by ChengChao on 14-9-27.
// Copyright (c) 2014年 cc. All rights reserved.
//
#include <iostream>
#include <sys/mman.h>
#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>
int main(int argc, const char * argv[]) {
//申請內存
int* arr = static_cast<int*>(mmap(
NULL, //分配的首地址
getpagesize(), //分配內存大小(必須是頁的整數倍, 32位1頁=4k)
PROT_READ | PROT_WRITE, //映射區域保護權限:讀|寫
MAP_ANON | MAP_SHARED, //匿名映射(不涉及文件io), 後面兩個參數忽略
0, //要映射到內存中的文件描述符
0 //文件映射的偏移量,通常設置爲0,必須是頁的整數倍
));
printf("申請內存大小=%dk\n", sizeof(arr));
*arr = 10;
*(arr + 1) = 20;
*(arr + 2) = 30;
printf("arr[2]=%d\n", arr[2]);
//釋放指針arr指向的內存區域,並制定釋放的內存大小
munmap(arr, getpagesize());
return 0;
}
例二:
#include <fstream>
#include <iostream>
#include <cstdlib>
#include <sys/mman.h>
#include <unistd.h>
#include <fcntl.h>
using namespace std;
int main(int argc, char* argv[])
{
int fd=open("/mnt/e/file",O_RDWR);
FILE* f=fdopen(fd,"rw");
fseek(f,0,SEEK_END);
long ps=ftell(f);
cout << "file size: " << ps << endl;
//分配的大小必須爲頁的整數倍
int* p = (int*)mmap(NULL, ps, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0);
if (p == MAP_FAILED)
{
perror("mmap error");
exit(1);
}
//比如我用2個進程運行該程序,進程1 讓*p=100 ,那麼進程2 去讀取*p也會變成100,但重要的是文件並沒有更新,就是說沒有IO操作,文件僅僅在msync()或mumap()調用時纔會被更新,因爲此時2個進程映射的該文件,都指向了相同的內存區域,也就說只有內存中的數據改變了
int oper,data;
while(true){
cin>>oper;
if(oper==1){
cin>>data;
*p=data;
}
else{
cout<<*p<<endl;
}
}
//...
munmap(p, ps);
close(fd);
return 0;
}