hdfs kill 任務
先說結論
hdfs 上的hadoop 任務 直接在終端ctrl+C是不行的 任務一旦提交到集羣上 就會繼續 運行
所以應該使用
yarn application -kill application_1571706429831_129599
這個命令來kill job
起因
使用hadoop distcp 提交了一個拷貝任務 中途用ctrl+c取消了 然後去刪除拷貝了一半的結果 結果發現在hdfs上刪除了之後 目錄仍然存在 後來在任務管理頁面上看到仍然有多個distcp任務在運行 說明 是這些distcp任務 在刪除目錄之後仍然在運行並寫入刪除後的目錄 導致這個目錄被重新創建 所以表現爲一直刪不掉目錄。這個可以從目錄中最末端的文件hash中看出 有一些新出現的文件說明是 刪除後寫入的
感覺運維大哥給我找bug