記一次linux服務器被掛馬的處理過程

        有斷時間突然發現zimbra郵件服務器過幾天就卡死,得重啓才能恢復,卡的時候根本用不了命令,按服務器關機鍵都沒辦法關機,只能強制重啓。連續觀察好幾天,通過sar -f /var/log/sarxx查看日誌發現,CPU使用率隔一陣子就會390%或者更多,但是這個sar只能查看系統層面的,沒法查看是哪個進程使用率偏高。後面去網上下載了atop,這個程序可以查看得更詳細,包括歷史進程使用情況,安裝後也一直沒有查看到異常。
     連續再觀察幾天後,突然有一天被我觀察出來了,當CPU高的時候使用top命令查看有一個進程/opt/zimbra/log/zmcpustat在運行,但是ls /opt/zimbra/log/zmcpustat後系統提示沒有這個目錄或文件,使用zimbra用戶進行也一樣。於是就懷疑是病毒或***僞裝的進程名(結合公司ip之前老是被反垃圾聯盟https://www.spamhaus.org收錄),實際進程應該不是這個,也不知道是哪個。
     查看/etc/fstab 、/etc/init.d 、/etc/rc.lcal、 /etc/rc*.d  、/var/cron/root 、/var/cron/zimbra進程都沒有發現可疑進程。使用systemctl list-unit-files|grep enabled查看開機啓動項,也沒有發現可疑啓動項,使用firewall-cmd --zone=public --list-ports查看防火牆開放的端口也是郵件服務需要的那幾個端口,使用 rpm -qf /usr/bin/ps 

返回procps-ng-3.3.10-17.el7.x86_64,再使用rpm -V procps-ng-3.3.10-17.el7.x86_64查看返回結果(爲空就是正常),發現系統這些命令也沒有被替換,連續查看了ps 、top、kill幾個命令發現都正常。
使用ls of pid\、ll /pro/pid/exe查看指向的都是/opt/zimbra/log/zmcpustat這個不存在的目錄。使用netstat -antup|grep pid發現實個進程一直在跟國外的ip進行通訊,我把這個進程kill 掉後,他就會重新運行,跟另外一個ip通訊。真沒有招了,是個正在運行的郵件服務器,也不想去重裝系統。
後面請教了一個大佬,有一個臨時的招kill -STOP pid,這樣就可以讓可疑進程暫停不運行,進程雖然還在,但是CPU使用率已經正常了,連續觀察幾天都沒有升,在反垃圾聯盟裏面連續幾天也沒有被拉黑。有大佬有好的辦法麻煩留言指導一下。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章