hadoop2.5.1 集羣關機順序及異常關機處理

0 前言

昨天遇到了一個很鬱悶的問題，在虛擬機搭建hadoop集羣后沒有停止服務就關閉了虛擬機。導致hdfs失效，namenode和datanode丟失，於是找到了解決的辦法。

1 解決方法

就是簡單的一個字，刪！

刪除掉損壞的 namenode數據和datanode數據，具體過程如下

1. 刪除所有節點下 ~/dfs/data 文件夾下的所有內容
2. 刪除所有節點下 ~/dfs/name 文件夾下的所有內容
3. 刪除所有節點下 ~/tmp 文件夾下的所有內容
4. 重新初始化 namenode: 在namenode節點上hadoop安裝文件夾下執行 ./bin/hdfs namenode -format
5. 重啓dfs和yarn服務 :在namenode節點上hadoop安裝文件夾下執行 ./sbin/start-dfs.sh 然後執行 ./sbin/start-yarn.sh

然後就會發現，namenode和datanode又上線了。故障排除

2 關機順序

在服務器中搭建完hadoop集羣后一定要注意關閉服務後再關閉電源，以免hadoop集羣無法正常啓動

1. 關閉dfs和yarn服務:在namenode節點上hadoop安裝文件夾下執行 ./sbin/stop-dfs.sh 然後執行 ./sbin/stop-yarn.sh
2. 關閉系統

3 感言

hadoop集羣看起來非常脆弱，如果突然出現斷電情況的也會導致同樣的問題。在生產環境中就購置在線式UPS吧，以防萬一。