1.time_wait連接數過多,需要調整內核參數
http://blog.renhao.org/2010/07/setup-linux-kernel-tcp-settings/
http://www.cnblogs.com/fczjuever/archive/2013/04/17/3026694.html
本文介紹的方法只對擁有大量TIME_WAIT狀態的連接導致系統資源消耗有效,不是這個原因的情況下,效果可能不明顯。那麼,到哪兒去查TIME_WAIT狀態的連接呢?那就是使用netstat命令。我們可以輸入一個複覈命令,去查看當前TCP/IP連接的狀態和對應的個數:
#netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
這個命令會顯示出類似下面的結果:
LAST_ACK 14
SYN_RECV 348
ESTABLISHED 70
FIN_WAIT1 229
FIN_WAIT2 30
CLOSING 33
TIME_WAIT 18122
我們只用關心TIME_WAIT的個數,在這裏可以看到,有18000多個TIME_WAIT,這樣就佔用了18000多個端口。要知道端口的數量只有65535個,佔用一個少一個,會嚴重的影響到後繼的新連接。這種情況下,我們就有必要調整下Linux的TCP/IP內核參數,讓系統更快的釋放TIME_WAIT連接。
我們用vim打開配置文件:
#vim /etc/sysctl.conf
然後,在這個文件中,加入下面的幾行內容:
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
最後輸入下面的命令,讓內核參數生效:
#/sbin/sysctl -p
簡單的說明下,上面的參數的含義:
net.ipv4.tcp_syncookies = 1 表示開啓SYN Cookies。當出現SYN等待隊列溢出時,啓用cookies來處理,可防範少量SYN***,默認爲0,表示關閉;
net.ipv4.tcp_tw_reuse = 1 表示開啓重用。允許將TIME-WAIT sockets重新用於新的TCP連接,默認爲0,表示關閉;
net.ipv4.tcp_tw_recycle = 1 表示開啓TCP連接中TIME-WAIT sockets的快速回收,默認爲0,表示關閉;
net.ipv4.tcp_fin_timeout 修改系統默認的 TIMEOUT 時間。
在經過這樣的調整之後,除了會進一步提升服務器的負載能力之外,還能夠防禦一定程度的DDoS、CC和SYN***,是個一舉兩得的做法。
此外,如果你的連接數本身就很多,我們可以再優化一下TCP/IP的可使用端口範圍,進一步提升服務器的併發能力。依然是往上面的參數文件中,加入下面這些配置:
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
這幾個參數,建議只在流量非常大的服務器上開啓,會有顯著的效果。一般的流量小的服務器上,沒有必要去設置這幾個參數。這幾個參數的含義如下:
net.ipv4.tcp_keepalive_time = 1200 表示當keepalive起用的時候,TCP發送keepalive消息的頻度。缺省是2小時,改爲20分鐘。
net.ipv4.ip_local_port_range = 10000 65000 表示用於向外連接的端口範圍。缺省情況下很小:32768到61000,改爲10000到65000。(注意:這裏不要將最低值設的太低,否則可能會佔用掉正常的端口!)
net.ipv4.tcp_max_syn_backlog = 8192 表示SYN隊列的長度,默認爲1024,加大隊列長度爲8192,可以容納更多等待連接的網絡連接數。
net.ipv4.tcp_max_tw_buckets = 5000 表示系統同時保持TIME_WAIT的最大數量,如果超過這個數字,TIME_WAIT將立刻被清除並打印警告信息。默 認爲180000,改爲5000。對於Apache、Nginx等服務器,上幾行的參數可以很好地減少TIME_WAIT套接字數量,但是對於 Squid,效果卻不大。此項參數可以控制TIME_WAIT的最大數量,避免Squid服務器被大量的TIME_WAIT拖死。
經過這樣的配置之後,你的服務器的TCP/IP併發能力又會上一個新臺階。
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 30
net.ipv4.tcp_keepalive_intvl = 2
net.ipv4.tcp_keepalive_probes = 2
上面三個參數對keepalive影響,
net.ipv4.ip_local_port_range = 10000 65000 (端口範圍)
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.icmp_echo_ignore_broadcasts = 1
配置服務器拒絕接受廣播風暴或者smurf ***attacks:
net.ipv4.icmp_ignore_bogus_error_responses = 1
有些路由器針對廣播禎發送無效的迴應,每個都產生警告並在內核產生日誌。這些迴應可以被忽略:
net.ipv4.conf.all.log_martians = 1
開啓並記錄欺騙,源路由和重定向包
net.ipv4.tcp_max_syn_backlog = 4096
表示SYN隊列的長度,默認爲1024,加大隊列長度爲8192,可以容納更多等待連接的網絡連接數,選項爲服務器端用於記錄那些尚未收到客戶端確認信息的連接請求的最大值。
該參數對應系統路徑爲:/proc/sys/net/ipv4/tcp_max_syn_backlog
net.ipv4.tcp_max_tw_buckets = 1440000
表示系統同時保持TIME_WAIT套接字的最大數量,如果超過這個數字,TIME_WAIT套接字將立刻被清除並打印警告信息。
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
增加tcp buff size
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
Increase Linux autotuning TCP buffer limits
net.ipv4.tcp_retries2 = 5
#TCP失敗重傳次數,默認值15,意味着重傳15次才徹底放棄.可減少到5,以儘早釋放內核資源
#最大文件句柄數,Linux系統一切皆文件,所有打開的文件不能超過的數目,可以修改大點,配置/etc/security/limits.conf可以配置每個用戶可以打開的文件數
fs.file-max = 65535
net.core.somaxconn = 4096
選項默認值是128,這個參數用於調節系統同時發起的tcp連接數,在高併發請求中,默認的值可能會導致連接超時或重傳,因此,需要結合併發請求數來調節此值。
該參數對應系統路徑爲:/proc/sys/net/core/somaxconn 128
後面的出錯:1.防火牆沒有開啓 2.自動處理可載入的模塊ip_conntrack沒有自動載入
解決辦法:1.開啓防火牆 2.自動處理開載入的模塊ip_conntrack
net.nf_conntrack_max = 99999999
net.netfilter.nf_conntrack_tcp_timeout_established = 300
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 12
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
整理出來的內核參數修改如下:
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_keepalive_time = 30
net.ipv4.tcp_keepalive_intvl = 2
net.ipv4.tcp_keepalive_probes = 2
net.ipv4.tcp_retries2 = 5
fs.file-max = 655350