- 空間積分
- 0
- 信譽積分
- 100
- UID
- 8666934
- 閱讀權限
- 20
- 積分
- 738
- 帖子
- 164
- 精華
- 8
- 可用積分
- 738
- 專家積分
- 0
- 在線時間
- 1 小時
- 註冊時間
- 2005-09-06
- 最後登錄
- 2009-10-25
![Rank: 1]()
- 帖子
- 164
- 主題
- 29
- 精華
- 8
- 可用積分
- 738
- 專家積分
- 0
- 在線時間
- 1 小時
- 註冊時間
- 2005-09-06
- 最後登錄
- 2009-10-25
|
用gcc tcpforwardport.c -o MyProxy編譯此程序後運行效果如下：
./MyProxy 8000 80 172.16.100.218
accepting connections on port 8000
connect from 127.0.0.1
當有用戶訪問本機的8000端口時，MyProxy程序將把此請求轉發到172.16.100.218主機的80端口，即實現了一個http代理。
關於select函數：
其函數原型爲：
int select(int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
此函數的功能是由內核檢測在timeout時間內，是否有readfds，writefds，exceptfds三個句柄集(file descriptors)裏的某個句柄（file descriptor)的狀態符合尋求，即readfds句柄集裏有句柄可讀或writefds句柄集裏有可寫或exceptfds句柄集裏有例外發生，任何一個有變化函數就立即返回，返回值爲timeout發生狀態變化的句柄個數。
n是所有readfds，writefds，exceptfds三個句柄集(file descriptors)裏編號最大值加1。比如：要檢測兩個socket句柄fd1和fd2在timeout時間內是否分別可讀和可寫就可以這樣：
先把兩個句柄集(file descriptors)清零：
FD_ZERO (&readfds);
FD_ZERO (&writefds);
然後把fd1加入讀檢測集：
FD_SET (fd1, &readfds);
然後把fd2加入寫檢測集：
FD_SET (fd2, &writefds);
再給timeout設置值，timeout是這樣的一個結構：
struct timeval {
long tv_sec; /* seconds */
long tv_usec; /* microseconds */
};
你可以這樣賦值：
timeout.tv_sec=1;
timeout.tv_uec=0;
表示檢測在1秒鐘內是否有句柄狀態發生變化。
如果有句柄發生變化，就可以用FD_ISSET檢測各個句柄，比如：
FD_ISSET (fd1, &readfds);//檢測是否fd1變成可讀的了
FD_ISSET (fd2, &writefds);//檢測是否fd2變成可寫的了
示意程序代碼如下：
- /*----------------------示意代碼開始--------------------------------------------*/
- fd1 = socket();//創建一個socket
- fd2 = socket();//創建一個socket
- while(1) {
- FD_ZERO (&readfds);
- FD_ZERO (&writefds);
- FD_SET (fd1, &readfds);
- FD_SET (fd2, &writefds);
- timeout.tv_sec=1;
- timeout.tv_uec=0;
- ret = select(fd1>fd2?(fd1+1):(fd2+1), &readfds, &writefds, NULL, &timeout);
- if(ret < 0) {printf("系統錯誤，select出錯，錯誤代碼：%d, 錯誤信息：%s", errno, strerror(errno));}
- else if(ret == 0) {printf("select超時返回，沒有任何句柄狀態發生變化！");}
- //有句柄狀態發生了變化
- if(FD_ISSET(fd1, &readfds)) {
- fd1有數據可讀;
- fd1裏的數據被讀出來;
- }
- if(FD_ISSET(fd2, &writefds)) {
- fd2可寫;
- fd2裏發送數據給對方;
- }
- }
- /*----------------------示意代碼結束--------------------------------------------*/
複製代碼
經常用到的幾個自定義函數：
1、開啓監聽的函數
- /*----------------------源代碼代碼開始--------------------------------------------*/
- int
- OpenSCPServer(int port, int total, int sendbuflen, int recvbuflen, int blockORnot, int reuseORnot) {
- /*************************關於本函數************************************
- *function_name: OpenSCPServer
- *參數說明：port整數型監聽端口號，total整數型監聽個數，sendbuflen整數型發送緩衝區大小
- * recvbuflen整數型接收緩衝區大小，blockORnot整數型是否阻塞，reuseORnot整數型是否端口重用
- *purpose: 用來建立一個tcp服務端socket
- *tidied by: zhoulifa([email protected]) 周立發(http://zhoulifa.9999mb.com)
- Linux愛好者 Linux知識傳播者 SOHO族 開發者 最擅長C語言
- *date time:2006-07-05 20:00:00
- *Note: 任何人可以任意複製代碼並運用這些文檔，當然包括你的商業用途
- * 但請遵循GPL
- *Thanks to: Paul Sheer 感謝Paul Sheer在select_tut的man手冊裏提供了這份源代碼
- *Hope:希望越來越多的人貢獻自己的力量，爲科學技術發展出力
- *Note:要使用此函數需要自定義一個全局變量char errorMessage[1024];幷包含GetCurrentTime.h頭文件
- *********************************************************************/
- int sockfd = 0, ret = 0, opt = 0, flags=1;
- struct sockaddr_in laddr;
- ret = sockfd = socket(PF_INET, SOCK_STREAM, 0);
- if(ret < 0) {
- sprintf(errorMessage, "OpenTCPServer socket() error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
- return -1;
- }
- ret = setsockopt(sockfd, SOL_SOCKET, SO_REUSEADDR, &reuseORnot, sizeof(int));
- if(ret < 0) {
- sprintf(errorMessage, "OpenTCPServer setsockopt() reuse error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
- return -2;
- }
- ret = setsockopt(sockfd, SOL_SOCKET, SO_RCVBUF, &recvbuflen, sizeof(int));
- if ( ret < 0) {
- sprintf(errorMessage, "OpenTCPServer setsockopt() recvbuf error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
- return -3;
- }
- ret = setsockopt(sockfd, SOL_SOCKET, SO_SNDBUF, &sendbuflen, sizeof(int));
- if (ret < 0) {
- sprintf(errorMessage, "OpenTCPServer setsockopt() sendbuf error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
- return -4;
- }
- ioctl(sockfd,FIONBIO,&blockORnot);/*block or not*/
- laddr.sin_family = PF_INET;
- laddr.sin_port = htons(port);
- laddr.sin_addr.s_addr = INADDR_ANY;
- bzero(&(laddr.sin_zero), 8);
- ret = bind(sockfd, (struct sockaddr *)&laddr, sizeof(struct sockaddr));
- if(ret < 0) {
- sprintf(errorMessage, "OpenTCPServer bind() error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
- close(sockfd);
- return -5;
- }
- ret = listen(sockfd, total);
- if(ret < 0) {
- sprintf(errorMessage, "OpenTCPServer listen() error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
- close(sockfd);
- return -6;
- }
- sprintf(errorMessage, "OpenTCPServer opened on port.%d(%d) OK, socket(%d), buf(%d:%d)! %s", port, total, sockfd, sendbuflen, recvbuflen, GetCurrentTime(0, 0));
- return sockfd;
- }
- /*----------------------源代碼代碼結束--------------------------------------------*/
複製代碼
2、連接服務器的函數
- /*----------------------源代碼代碼開始--------------------------------------------*/
- int
- ConnectSCPServer(char * serverip, int serverport, int blockORnot) {
- /*************************關於本函數************************************
- *function_name: ConnectSCPServer
- *參數說明：serverip服務器IP地址或主機名，serverport服務器端口，blockORnot整數型是否阻塞
- *purpose: 用來建立一個tcp客戶端socket
- *tidied by: zhoulifa([email protected]) 周立發(http://zhoulifa.9999mb.com)
- Linux愛好者 Linux知識傳播者 SOHO族 開發者 最擅長C語言
- *date time:2006-07-05 20:40:00
- *Note: 任何人可以任意複製代碼並運用這些文檔，當然包括你的商業用途
- * 但請遵循GPL
- *Thanks to: Paul Sheer 感謝Paul Sheer在select_tut的man手冊裏提供了這份源代碼
- *Hope:希望越來越多的人貢獻自己的力量，爲科學技術發展出力
- *Note:要使用此函數需要自定義一個全局變量char errorMessage[1024];幷包含自己編寫的GetCurrentTime.h頭文件
- *********************************************************************/
- int serversock = 0, ret = 0;
- unsigned long addr;
- struct sockaddr_in sin;
- struct hostent *he;
- if((he=gethostbyname(serverip))== 0) {
- sprintf(errorMessage, "ConnectSCPServer IP address '%s' error! return:-1 %s", serverip, GetCurrentTime(0, 0));
- return -1;
- }
- serversock = socket(PF_INET, SOCK_STREAM, 0);
- if(serversock == -1) {
- sprintf(errorMessage, "ConnectSCPServer socket() error! return:-2, errno=%d, errortext:'%s' %s", errno, strerror(errno), GetCurrentTime(0, 0));
- return -2;
- }
- ioctl(serversock, FIONBIO, &blockORnot); //block or not
- memset((char*)&sin, 0, sizeof(struct sockaddr_in));
- sin.sin_family = PF_INET;
- sin.sin_port = htons(serverport);
- sin.sin_addr = *((struct in_addr *)he->h_addr);
- ret = connect(serversock, (struct sockaddr *)&sin, sizeof(sin));
- if(ret == -1) {
- sprintf(errorMessage, "ConnectSCPServer connect() error! return:-3, errno=%d, errortext:'%s' %s", errno, strerror(errno), GetCurrentTime(0, 0));
- close(serversock);
- return -3;
- }
- return serversock;
- }
- /*----------------------源代碼代碼結束--------------------------------------------*/
複製代碼
3、發送數據函數Send
- /*----------------------源代碼代碼開始--------------------------------------------*/
- int
- Send(int sock, char * buf, size_t size, int flag, int timeout) {
- /*************************關於本函數************************************
- *function_name: Send
- *參數說明：sock整數型socket，buf待發送的內容，size要發送的大小，flag發送選項，timeout超時時間值
- *purpose: 用來通過一個socket在指定時間內發送數據
- *tidied by: zhoulifa([email protected]) 周立發(http://zhoulifa.9999mb.com)
- Linux愛好者 Linux知識傳播者 SOHO族 開發者 最擅長C語言
- *date time:2006-07-05 20:58:00
- *Note: 任何人可以任意複製代碼並運用這些文檔，當然包括你的商業用途
- * 但請遵循GPL
- *Thanks to: Paul Sheer 感謝Paul Sheer在select_tut的man手冊裏提供了這份源代碼
- *Hope:希望越來越多的人貢獻自己的力量，爲科學技術發展出力
- *Note:要使用此函數需要自定義一個全局變量char errorMessage[1024];幷包含自己編寫的GetCurrentTime.h頭文件
- *********************************************************************/
- int i = 0, ret = 0, intretry = 0;
- struct timeval tival;
- fd_set writefds;
- int maxfds = 0;
- tival.tv_sec = timeout;
- tival.tv_usec = 0;
- FD_ZERO(&writefds);
- if(sock > 0) {
- FD_SET(sock, &writefds);
- maxfds=((sock > maxfds)?sock:maxfds);
- }
- else {
- sprintf(errorMessage, "Send socket:%d error! return:-2 %s", sock, GetCurrentTime(0, 0));
- return -2;
- }
- ret = select(maxfds + 1, NULL, &writefds, NULL, &tival);
- if(ret <= 0) {
- if(ret < 0) sprintf(errorMessage, "Send socket:%d select() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));
- else sprintf(errorMessage, "Send socket:%d select timeout(%d)! %s", sock, timeout, GetCurrentTime(0, 0));
- close(sock);
- return -3;
- }
- if(!(FD_ISSET(sock, &writefds))) {
- sprintf(errorMessage, "Send socket:%d not in writefds! %s", sock, GetCurrentTime(0, 0));
- close(sock);
- return -4;
- }
- while(i < size) {
- ret = send(sock, buf + i, size - i, flag);
- if(ret <= 0) {
- sprintf(errorMessage, "Send socket:%d send() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));
- if (EINTR == errno)
- if(intretry < 10) {intretry++;continue;}
- else sprintf(errorMessage, "Send socket:%d send() error!EINTR 10 times! %s", sock, GetCurrentTime(0, 0));
- close(sock);
- return -1;
- }
- else i += ret;
- }
- sprintf(errorMessage, "Send socket:%d send() OK! %d/%d bytes sent! %s", sock, i, size, GetCurrentTime(0, 0));
- return i;
- }
- /*----------------------源代碼代碼結束--------------------------------------------*/
複製代碼
4、接收數據函數Recv
- /*----------------------源代碼代碼開始--------------------------------------------*/
- int
- Recv(int sock, char * buf, size_t size, int flag, int timeout) {
- /*************************關於本函數************************************
- *function_name: Recv
- *參數說明：sock整數型socket，buf接收數據的緩衝區，size要接收數據的大小，flag接收選項，timeout超時時間值
- *purpose: 用來從一個socket在指定時間內讀取數據
- *tidied by: zhoulifa([email protected]) 周立發(http://zhoulifa.9999mb.com)
- Linux愛好者 Linux知識傳播者 SOHO族 開發者 最擅長C語言
- *date time:2006-07-05 21:10:00
- *Note: 任何人可以任意複製代碼並運用這些文檔，當然包括你的商業用途
- * 但請遵循GPL
- *Thanks to: Paul Sheer 感謝Paul Sheer在select_tut的man手冊裏提供了這份源代碼
- *Hope:希望越來越多的人貢獻自己的力量，爲科學技術發展出力
- *Note:要使用此函數需要自定義一個全局變量char errorMessage[1024];幷包含自己編寫的GetCurrentTime.h頭文件
- *********************************************************************/
- int i = 0, ret = 0, intretry = 0;
- struct timeval tival;
- fd_set readfds;
- int maxfds = 0;
- tival.tv_sec = timeout;
- tival.tv_usec = 0;
- FD_ZERO(&readfds);
- if(sock > 0) {
- FD_SET(sock, &readfds);
- maxfds=((sock > maxfds)?sock:maxfds);
- }
- else {
- sprintf(errorMessage, "Recv socket:%d error! return:-2 %s", sock, GetCurrentTime(0, 0));
- return -2;
- }
- ret = select(maxfds + 1, &readfds, NULL, NULL, &tival);
- if(ret <= 0) {
- if(ret < 0) sprintf(errorMessage, "Recv socket:%d select() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));
- else sprintf(errorMessage, "Recv socket:%d select timeout(%d)! %s", sock, timeout, GetCurrentTime(0, 0));
- close(sock);
- return -3;
- }
- if(!(FD_ISSET(sock, &readfds))) {
- sprintf(errorMessage, "Recv socket:%d not in readfds! %s", sock, GetCurrentTime(0, 0));
- close(sock);
- return -4;
- }
- while(i < size) {
- ret = recv(sock, buf + i, size - i, flag);
- if(ret <= 0){
- sprintf(errorMessage, "Recv socket:%d recv() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));
- if(errno == EINTR)
- if(intretry < 10) {intretry++;continue;}
- else sprintf(errorMessage, "Recv socket:%d recv() error! EINTR 10 times! %s", sock, GetCurrentTime(0, 0));
- close(sock);
- return -1;
- }
- else i += ret;
- }
- sprintf(errorMessage, "Recv socket:%d recv() OK! %d/%d bytes received! %s", sock, i, size, GetCurrentTime(0, 0));
- return i;
- }
複製代碼
最後需要說明的是：我這裏講到的源程序並不能實際地作爲一個產品程序來用，實際情況下可能會有其它許多工作要做，比如可能要建立共享隊列來存放 socket裏讀到的消息，也可能把發送消息先進行排隊然後再調用Send函數。還有，如果不是全數字，在發送前一定要htonl轉換爲網絡字節序，同理接收到後一定要先ntohl由網絡字節序轉換爲主機字節序，否則對方發送過來的0x00000001在你這裏可能是0x00010000，因爲高低位順序不同。 |
進入2.6內核時代, select應該進垃圾堆了
高併發服務器用select效率極低, 特別是使用非阻塞IO時更是慢得一蹋糊塗
改用epoll會大大改善
我一個程序監聽從8000到18000共計1萬個端口, 啓動1萬個LISTEN
用epoll來阻塞, 系統非常輕鬆, 完全沒有驚羣現象
epoll用法比select簡單
初始化:創建epoll描述字; 向epoll描述字添加需要響應的套接字, 初始化過程只要一次即可
使用: 等待epoll事件發生, 提取事件的套接字進行相應的讀寫操作
static int s_epfd;//epoll描述字
{//初始化epoll
struct epoll_event ev;
//設置epoll
s_epfd = epoll_create(65535);
{//這個過程可以循環以便加入多個LISTEN套接字進入epoll事件集合
//服務器監聽創建
rc = listen();//listen參數這裏省略
//加入epoll事件集合
ev.events = EPOLLIN;
ev.data.fd = rc;
if (epoll_ctl(s_epfd, EPOLL_CTL_ADD, rc, &ev) < 0) {
fprintf(stderr, "epoll set insertion error: fd=%d", rc);
return(-1);
}
}
}
{//epoll事件處理
int i, nfds, sock_new;
struct epoll_event events[16384];
for( ; ; ) {
//等待epoll事件
nfds = epoll_wait(s_epfd, events, 16384, -1);
//處理epoll事件
for(i = 0; i < nfds; i++) {
//events[i].data.fd是epoll事件中彈出的套接字
//接收連接
sock_new = accept(events[i].data.fd);//accept其它參數這裏省略了
if(0 > sock_new) {
fprintf(stderr, "接收客戶端連接失敗\n");
continue;
}
}
}
} |
|
|
|
| |
|
|
|
|
- 空間積分
- 0
- 信譽積分
- 100
- UID
- 8666934
- 閱讀權限
- 20
- 積分
- 738
- 帖子
- 164
- 精華
- 8
- 可用積分
- 738
- 專家積分
- 0
- 在線時間
- 1 小時
- 註冊時間
- 2005-09-06
- 最後登錄
- 2009-10-25
![Rank: 1]()
- 帖子
- 164
- 主題
- 29
- 精華
- 8
- 可用積分
- 738
- 專家積分
- 0
- 在線時間
- 1 小時
- 註冊時間
- 2005-09-06
- 最後登錄
- 2009-10-25
|
Very good!又長見識了。
safedead ， 不介意收藏你的示意代碼吧？ |
|
|
|
| |
|
|
|
|
- 空間積分
- 0
- 信譽積分
- 100
- UID
- 20330678
- 閱讀權限
- 20
- 積分
- 513
- 帖子
- 839
- 精華
- 0
- 可用積分
- 513
- 專家積分
- 0
- 在線時間
- 3 小時
- 註冊時間
- 2005-11-02
- 最後登錄
- 2009-12-30
![Rank: 1]()
- 帖子
- 839
- 主題
- 107
- 精華
- 0
- 可用積分
- 513
- 專家積分
- 0
- 在線時間
- 3 小時
- 註冊時間
- 2005-11-02
- 最後登錄
- 2009-12-30
|
|
|
|
| |
|
|
|
|
- 空間積分
- 0
- 信譽積分
- 100
- UID
- 8666934
- 閱讀權限
- 20
- 積分
- 738
- 帖子
- 164
- 精華
- 8
- 可用積分
- 738
- 專家積分
- 0
- 在線時間
- 1 小時
- 註冊時間
- 2005-09-06
- 最後登錄
- 2009-10-25
![Rank: 1]()
- 帖子
- 164
- 主題
- 29
- 精華
- 8
- 可用積分
- 738
- 專家積分
- 0
- 在線時間
- 1 小時
- 註冊時間
- 2005-09-06
- 最後登錄
- 2009-10-25
|
Linux 2.6內核中提高網絡I/O性能的新方法epoll
正如我昨天在“Linux下各類TCP網絡服務器的實現源代碼”(http://zhoulifa.bokee.com/5345930.html)一文中提到的那樣，I/O多路複用技術在比較多的TCP網絡服務器中有使用，即比較多的用到select函數。
感謝chinaunix.net上朋友safedead(http://bbs.chinaunix.net/viewpro.php?uid=407631)提醒，我今天仔細研究了一下，證實了在2.6內核中的新的I/O技術epoll。
1、爲什麼select是落後的？
首先，在Linux內核中，select所用到的FD_SET是有限的，即內核中有個參數__FD_SETSIZE定義了每個FD_SET的句柄個數，在我用的2.6.15-25-386內核中，該值是1024，搜索內核源代碼得到：
include/linux/posix_types.h:#define __FD_SETSIZE 1024
也就是說，如果想要同時檢測1025個句柄的可讀狀態是不可能用select實現的。或者同時檢測1025個句柄的可寫狀態也是不可能的。
其次，內核中實現select是用輪詢方法，即每次檢測都會遍歷所有FD_SET中的句柄，顯然，select函數執行時間與FD_SET中的句柄個數有一個比例關係，即select要檢測的句柄數越多就會越費時。
當然，在前文中我並沒有提及poll方法，事實上用select的朋友一定也試過poll，我個人覺得select和poll大同小異，個人偏好於用select而已。
/************關於本文檔********************************************
*filename: Linux 2.6內核中提高網絡I/O性能的新方法epoll
*purpose: 補充“Linux下各類TCP網絡服務器的實現源代碼”一文的不足之處
*wrote by: zhoulifa([email protected]) 周立發(http://zhoulifa.9999mb.com)
Linux愛好者 Linux知識傳播者 SOHO族 開發者 最擅長C語言
*date time:2006-07-06 22:30:00
*Note: 任何人可以任意複製代碼並運用這些文檔，當然包括你的商業用途
* 但請遵循GPL
*Hope:希望越來越多的人貢獻自己的力量，爲科學技術發展出力
*********************************************************************/
2、2.6內核中提高I/O性能的新方法epoll
epoll是什麼？按照man手冊的說法：是爲處理大批量句柄而作了改進的poll。要使用epoll只需要這三個系統調用：epoll_create(2)， epoll_ctl(2)， epoll_wait(2)。
當然，這不是2.6內核纔有的，它是在2.5.44內核中被引進的(epoll(4) is a new API introduced in Linux kernel 2.5.44)
以下文章轉自滕昱的Web Log http://mechgouki.spaces.msn.com/blog/PersonalSpace.aspx
/*********************************引用開始******************************/
Linux2.6內核epoll介紹---我的blog 2005/3/30
[作者]：滕昱,2005/3/30,0.1版本
[版權聲明]：此文檔遵循GNU自由文檔許可證(GNU Free Documentation License).任何人可以自由複製,分發,修改,不過如果方便,請註明出處和作者![]()
(1)導言：
首先，我強烈建議大家閱讀Richard Stevens著作《TCP/IP Illustracted Volume 1,2,3》和《UNIX Network Programming Volume 1,2》。雖然他離開我們大家已經5年多了，但是他的書依然是進入網絡編程的最直接的道路。其中的3卷的《TCP/IP Illustracted》卷1是必讀－如果你不瞭解tcp協議各個選項的詳細定義，你就失去了優化程序重要的一個手段。卷2,3可以選讀一下。比如卷2 講解的是4.4BSD內核TCP/IP協議棧實現----這個版本的協議棧幾乎影響了現在所有的主流os，但是因爲年代久遠，內容不一定那麼vogue.
在這裏我多推薦一本《The Linux Networking Architecture--Design and Implementation of Network Protocols in the Linux Kernel》，以2.4內核講解Linux TCP/IP實現，相當不錯.作爲一個現實世界中的實現，很多時候你必須作很多權衡，這時候參考一個久經考驗的系統更有實際意義。舉個例子,linux內核中sk_buff結構爲了追求速度和安全，犧牲了部分內存，所以在發送TCP包的時候，無論應用層數據多大,sk_buff最小也有272的字節.
其實對於socket應用層程序來說，《UNIX Network Programming Volume 1》意義更大一點.2003年的時候，這本書出了最新的第3版本，不過主要還是修訂第2版本。其中第6章《I/O Multiplexing》是最重要的。Stevens給出了網絡IO的基本模型。在這裏最重要的莫過於select模型和Asynchronous I/O模型.從理論上說，AIO似乎是最高效的，你的IO操作可以立即返回，然後等待os告訴你IO操作完成。但是一直以來，如何實現就沒有一個完美的方案。最著名的windows完成端口實現的AIO,實際上也是內部用線程池實現的罷了，最後的結果是IO有個線程池，你應用也需要一個線程池......
很多文檔其實已經指出了這帶來的線程context-switch帶來的代價。
在linux 平臺上，關於網絡AIO一直是改動最多的地方，2.4的年代就有很多AIO內核patch,最著名的應該算是SGI那個。但是一直到2.6內核發佈，網絡模塊的AIO一直沒有進入穩定內核版本(大部分都是使用用戶線程模擬方法，在使用了NPTL的linux上面其實和windows的完成端口基本上差不多了)。2.6內核所支持的AIO特指磁盤的AIO---支持io_submit(),io_getevents()以及對Direct IO的支持(就是繞過VFS系統buffer直接寫硬盤，對於流服務器在內存平穩性上有相當幫助)。
所以，剩下的select模型基本上就是我們在linux上面的唯一選擇，其實，如果加上no-block socket的配置，可以完成一個"僞"AIO的實現，只不過推動力在於你而不是os而已。不過傳統的select/poll函數有着一些無法忍受的缺點，所以改進一直是2.4-2.5開發版本內核的任務，包括/dev/poll，realtime signal等等。最終，Davide Libenzi開發的epoll進入2.6內核成爲正式的解決方案
(2)epoll的優點
<1>支持一個進程打開大數目的socket描述符(FD)
select 最不能忍受的是一個進程所打開的FD是有一定限制的，由FD_SETSIZE設置，默認值是2048。對於那些需要支持的上萬連接數目的IM服務器來說顯然太少了。這時候你一是可以選擇修改這個宏然後重新編譯內核，不過資料也同時指出這樣會帶來網絡效率的下降，二是可以選擇多進程的解決方案(傳統的Apache方案)，不過雖然linux上面創建進程的代價比較小，但仍舊是不可忽視的，加上進程間數據同步遠比不上線程間同步的高效，所以也不是一種完美的方案。不過 epoll則沒有這個限制，它所支持的FD上限是最大可以打開文件的數目，這個數字一般遠大於2048,舉個例子,在1GB內存的機器上大約是10萬左右，具體數目可以cat
/proc/sys/fs/file-max察看,一般來說這個數目和系統內存關係很大。
<2>IO效率不隨FD數目增加而線性下降
傳統的select/poll另一個致命弱點就是當你擁有一個很大的socket集合，不過由於網絡延時，任一時間只有部分的socket是"活躍"的，但是select/poll每次調用都會線性掃描全部的集合，導致效率呈現線性下降。但是epoll不存在這個問題，它只會對"活躍"的socket進行操作---這是因爲在內核實現中epoll是根據每個fd上面的callback函數實現的。那麼，只有"活躍"的socket纔會主動的去調用 callback函數，其他idle狀態socket則不會，在這點上，epoll實現了一個"僞"AIO，因爲這時候推動力在os內核。在一些
benchmark中，如果所有的socket基本上都是活躍的---比如一個高速LAN環境，epoll並不比select/poll有什麼效率，相反，如果過多使用epoll_ctl,效率相比還有稍微的下降。但是一旦使用idle connections模擬WAN環境,epoll的效率就遠在select/poll之上了。
<3>使用mmap加速內核與用戶空間的消息傳遞。
這點實際上涉及到epoll的具體實現了。無論是select,poll還是epoll都需要內核把FD消息通知給用戶空間，如何避免不必要的內存拷貝就很重要，在這點上，epoll是通過內核於用戶空間mmap同一塊內存實現的。而如果你想我一樣從2.5內核就關注epoll的話，一定不會忘記手工 mmap這一步的。
<4>內核微調
這一點其實不算epoll的優點了，而是整個linux平臺的優點。也許你可以懷疑linux平臺，但是你無法迴避linux平臺賦予你微調內核的能力。比如，內核TCP/IP協議棧使用內存池管理sk_buff結構，那麼可以在運行時期動態調整這個內存pool(skb_head_pool)的大小--- 通過echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函數的第2個參數(TCP完成3次握手的數據包隊列長度)，也可以根據你平臺內存大小動態調整。更甚至在一個數據包面數目巨大但同時每個數據包本身大小卻很小的特殊系統上嘗試最新的NAPI網卡驅動架構。
(3)epoll的使用
令人高興的是，2.6內核的epoll比其2.5開發版本的/dev/epoll簡潔了許多，所以，大部分情況下，強大的東西往往是簡單的。唯一有點麻煩是epoll有2種工作方式:LT和ET。
LT(level triggered)是缺省的工作方式，並且同時支持block和no-block socket.在這種做法中，內核告訴你一個文件描述符是否就緒了，然後你可以對這個就緒的fd進行IO操作。如果你不作任何操作，內核還是會繼續通知你的，所以，這種模式編程出錯誤可能性要小一點。傳統的select/poll都是這種模型的代表．
ET (edge-triggered)是高速工作方式，只支持no-block socket。在這種模式下，當描述符從未就緒變爲就緒時，內核通過epoll告訴你。然後它會假設你知道文件描述符已經就緒，並且不會再爲那個文件描述符發送更多的就緒通知，直到你做了某些操作導致那個文件描述符不再爲就緒狀態了(比如，你在發送，接收或者接收請求，或者發送接收的數據少於一定量時導致了一個EWOULDBLOCK 錯誤）。但是請注意，如果一直不對這個fd作IO操作(從而導致它再次變成未就緒)，內核不會發送更多的通知(only once),不過在TCP協議中，ET模式的加速效用仍需要更多的benchmark確認。
epoll只有epoll_create,epoll_ctl,epoll_wait 3個系統調用，具體用法請參考http://www.xmailserver.org/linux-patches/nio-improve.html ，
在http://www.kegel.com/rn/也有一個完整的例子，大家一看就知道如何使用了
(4)Leader/follower模式線程pool實現，以及和epoll的配合
.....未完成，主要是要避免過多的epoll_ctl調用,以及嘗試使用EPOLLONESHOT加速......
(5)benchmark
.......未完成
/*********************************引用結束******************************/
3、epoll的使用方法
這是epoll的man手冊提供的一個例子，這段代碼假設一個非阻塞的socket監聽listener被建立並且一個epoll句柄kdpfd已經提前用epoll_create建立了：
- struct epoll_event ev, *events;
- for(;;) {
- nfds = epoll_wait(kdpfd, events, maxevents, -1);/*wait for an I/O event. All notes here added by zhoulifa(http://zhoulifa.bokee.com) on 2006-7-6 22:10:00*/
- for(n = 0; n < nfds; ++n) {
- if(events[n].data.fd == listener) {/*if listen socket has an I/O, accept the new connect*/
- client = accept(listener, (struct sockaddr *) &local,
- &addrlen);
- if(client < 0){
- perror("accept");
- continue;
- }
- setnonblocking(client);
- ev.events = EPOLLIN | EPOLLET;/*EPOLLIN-available for read*/
- ev.data.fd = client;
- if (epoll_ctl(kdpfd, EPOLL_CTL_ADD, client, &ev) < 0) {/*add the new socket into the epoll file descriptors*/
- fprintf(stderr, "epoll set insertion error: fd=%d\n",
- client);
- return -1;
- }
- }
- else
- do_use_fd(events[n].data.fd);/*read from a socket which has data come*/
- }
- }
複製代碼
4、epoll使用方法示意代碼
以下代碼由chinaunix.net上BBS用戶safedead(http://bbs.chinaunix.net/viewpro.php?uid=407631)提供：
- static int s_epfd;//epoll描述字
- {//初始化epoll
- struct epoll_event ev;
- //設置epoll
- s_epfd = epoll_create(65535);
- {//這個過程可以循環以便加入多個LISTEN套接字進入epoll事件集合
- //服務器監聽創建
- rc = listen();//listen參數這裏省略
- //加入epoll事件集合
- ev.events = EPOLLIN;
- ev.data.fd = rc;
- if (epoll_ctl(s_epfd, EPOLL_CTL_ADD, rc, &ev) < 0) {
- fprintf(stderr, "epoll set insertion error: fd=%d", rc);
- return(-1);
- }
- }
- }
- {//epoll事件處理
- int i, nfds, sock_new;
- struct epoll_event events[16384];
- for( ; ; ) {
- //等待epoll事件
- nfds = epoll_wait(s_epfd, events, 16384, -1);
- //處理epoll事件
- for(i = 0; i < nfds; i++) {
- //events[i].data.fd是epoll事件中彈出的套接字
- //接收連接
- sock_new = accept(events[i].data.fd);//accept其它參數這裏省略了
- if(0 > sock_new) {
- fprintf(stderr, "接收客戶端連接失敗\n");
- continue;
- }
- }
- }
- }
複製代碼
對照safedead和前面的一份代碼，我想大家一定是明白了的。 |
|
|
發表於 2006-07-05 23:13:33
