Oozie --任務的查看,殺死 Oozie和Azkaban來做對比

查看所有普通任務

oozie jobs -oozie http://bd001:11000/oozie

 

查看定時任務

oozie jobs -oozie http://bd001:11000/oozie   -jobtype coordinator

 

殺死某個任務

oozie可以通過jobid來殺死某個定時任務

oozie job -kill [id]

例如我們可以使用命令

oozie job -oozie http://bd001:11000/oozie -kill 0000033-200526143050941-oozie-root-W

殺死我們定時任務

 

 

Oozie和Azkaban來做對比:

【Azkaban詳情見Azkaban工作流調度

兩者在功能方面大致相同,只是Oozie底層在提交Hadoop Spark作業是通過org.apache.hadoop的封裝好的接口進行提交,而Azkaban可以直接操作shell語句。在安全性上可能Oozie會比較好。

 

工作流定義: Oozie是通過xml定義的而Azkaban爲properties來定義。

 

部署過程: Oozie的部署相對困難些,同時它是從Yarn上拉任務日誌。

 

任務檢測: Azkaban中如果有任務出現失敗,只要進程有效執行,那麼任務就算執行成功,這是BUG,但是Oozie能有效的檢測任務的成功與失敗。

 

操作工作流: Azkaban使用Web操作。Oozie支持Web,RestApi,Java API操作。

 

權限控制: Oozie基本無權限控制,Azkaban有較完善的權限控制,供用戶對工作流讀寫執行操作。

 

運行環境: Oozie的action主要運行在hadoop中而Azkaban的actions運行在Azkaban的服務器中。

 

記錄workflow的狀態: Azkaban將正在執行的workflow狀態保存在內存中,Oozie將其保存在Mysql中。

 

出現失敗的情況: Azkaban會丟失所有的工作流,但是Oozie可以在繼續失敗的工作流運行

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章