kettle調度現狀、痛點及解決方法

kettle作爲非常優秀的開源ETL工具得到了非常廣泛的使用,一般的使用的都是使用客戶端操作管理,但問題是當投入生產環境使用時,動輒上百或幾百個job需要管理,這時在使用客戶端管理已經很難完成了。

我所知道的解決方案有用命令行的調用的,操作麻煩,體驗很差(基於命令行上構架出來的一般都用Linux的crontab、或者是Windows下用定時器等);還有就是開發web端管理工具,kettle自帶了一個web端管理工具,界面極其簡陋不說,還很難用,基本無法投入生產環境使用。

上述方法不能滿足後,我開始尋求第三方工具,發現其實調度界的產品還是有很多,有Control-M、TASKCTL等專注調度的老牌廠商;有外包項目集成的Moia、ETS、WFT、IBM集成的調度工具;也有開源的Oozie、Zeus、Azkaban。

挨個查看一下資料後,感覺taskctl應該算裏面比較簡單的,試用後taskctl,還不錯,他們家不僅僅對Kettle支持不錯,基本上市面上常見的數據庫、各種類似的大數據、ETL工具、各種腳本語言都有這不錯的支持力度,即使不支持的,也可以自己擴展。

下面是一些在查找資料過程中收集到的帖子,也一併分享個大家。

作業調度框架:http://blog.csdn.net/victory0508/article/details/8590974

調度工具中美PK ( TASKCTL VS Control-M): http://www.itpub.net/thread-1756140-1-1.html

說說ETL調度工具TASKCTL的五宗最: http://www.itpub.net/thread-1778332-1-1.html

Taskctl調用kettle的例子:http://www.taskctl.com/forum/detail_67.html

   如果有什麼地方說的不對,請大家多多指正,共同學習進步!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章