一，【基礎運維檢查】
或叫 例行檢查 或叫 例行巡檢
mail cacti
1.理解例行檢查列表的內容、檢查項的含義以及可能引發的問題。
2.按照例行檢查表，定期檢查系統狀態，發現異常立即通報並推進解決。
3.定期檢查線上服務模塊，排除可疑進程, 發現問題及時通報。
4.理解監控和統計報表的各項含義，每天定時檢查報表，發現異常立即通報並推進解決。
5.制定服務例行檢查要點和方法，部署執行並不斷完善，避免檢查的盲點。
工作清單參考
1.在預期的時間內，根據執行手冊，保質保量完成產品線既定的例行檢查工作。
2.通過技術方式提高例行檢查的效率。
3.有能力發現潛在問題，制定或者補充合理的檢查清單和檢查方式，保證基礎運維有效進行。
4.進行問題和追查，並解決可能的隱患。
具體檢查項舉例
機器性能：idle>60%，memfree>60%，io<30MB/s，nic<90MB/s，disk_used<80%
模塊日誌：請求次數<800次/s ，耗時<300ms/次，日誌fatal|error|warnning條數
系統日誌：查檢內核日誌是否有異常輸出 '(I/O error|EXT2-fs error|ERROR on|Medium Error|error recovery|disk error|Illegal block|Out of Memory|dead device|readonly)'
數據報表：前一天用戶訪問量報表，前一天用戶提交量報表，各地域訪問服務流量情況和耗時情況，非正常用戶(網頁抓取)訪問量情況
備份檢查：檢查夜間的數據備份是否正常。
如在排查過程中遇到問題，需要及時跟進：
憑估問題影響，及時通報，跟進問題，定位問題，提出解決方案，經確認後執行解決方案，最後通報問題已解決 並 給出如何讓此類問題不再次發生。
二，【整理預案】
工作清單參考
1.根據服務穩定性和部署現狀，整理服務執行預案。
2.將服務分級別，分層次，整理不同重要性的應急預案。
3.定期進行預案演練，每季度進行一次大規模預案演練，但如有重要級別的服務，可以加快預案練習頻率（每月演練一次）
4.記錄預案執行時間，人員，操作耗時，影響服務時間，服務恢復時間，最後整理整個預案演習的時間和真正影響服務時間。
5.根據預案演練發現的問題，記錄問題原因，並更新預案，如果有遺漏的監控應在預案演練後及時添加監控。
6.優化預案執行過程，預案執行自動化，降低影響服務的時間。
三，【故障處理】
1.熟悉服務日常故障處理方法和預案執行要點。
2.對已知線上故障能按流程進行通報並按預案執行。
3.及時處理並回複相關的服務報警信息。
4.能透徹分析報警原因,並推動報警問題解決。
5.能發現服務隱患，總結處理方法和提出預案改進建議。
四，【數據備份】
1.根據服務類型，將需要備份的數據劃分重要級別，理解什麼數據需要全量備份，什麼時候需要增量備份，並且需要確認數據需要保留天數。
2.編寫數據恢復預案，定期演練，包含但不限於每季度的數據恢復測試；
3.根據服務調整、機器遷移等服務變更須及時更新備份方案；
五，【機器管理】
1.熟悉服務器資源狀況，機房分佈情況，並能做到批量管理，自動化管理。
2.合理使用服務器資源，根據不同服務的需求，安排不同配置的服務器。
3.保證服務器正常運行，對服務器硬件添加或變更來解決資源不足問題。
4.熟悉服務器上下架、上下線、搬遷相關流程。
六，【服務管理】
服務與服務間的關聯關係。
線上服務操作注意事項。
及時發現服務上的問題，並及時跟進、推動解決。
整理運維文檔，記錄每個服務的問題或潛在問題和這個服務的特殊點。
七，【技術審覈】
1.編制或審覈上線步驟、回滾方案。
2.按流程高質量地完成上線、操作，包括上線後的檢查複覈以及緊急情況下的回滾操作。
3.用腳本和自動化的方法實現上線和操作,改進上線/操作過程。
具體審覈點：
1.評估變更對運維影響（如資源、接口、平臺），產出評估影響，以及應對策略。
2.評估變更對業務的影響（如流量、收入、網頁數等）
3.變更執行
3.1變更時間、地點、參與；
3.2變更方案（含 執行方案、預案）；
3.3變更執行；
3.4變更check；（業務和運維）；
3.5變更回顧；
4.對所做的變更進行回顧和總結
4.1變更問題總結和改進；
4.2改進措施與實施；
4.3改進對業務推動；
4.4改進對運維推動；
原文鏈接
http://5983944.blog.51cto.com/5973944/1376242