記一次帶寬跑滿服務器卡死事故處理

1.突然網站打不開

2.檢查帶寬情況，發現帶寬跑滿，考慮是cdn大量回源的問題

3.ssh 艱難登上服務器，重啓nginx

4.網站恢復，檢查log，發現大量 同段的ip請求網站的一些冷門文件，這些文件都沒有被cdn緩存

{"remote_addr":"140.205.253.185","host":"file.reco.cn","time":"09/Sep/2015:16:06:05 +0800","request":"GET /download/f23429d4fda583c9fda74783f33a5d4e/%E5%BC%82%E6%97%8F%E8%83%8C%E5%8F%9B%E8%80%85+Alien+Violatorv1.3.apk HTTP/1.1","status":200,"size":168888,"referer":"-","user_agent":"-","forwarded":"211.103.88.76","request_time":30.000}

nginx 禁掉這個ip段，

網站恢復

徹底解決這個辦法：

將文件服務器分離