kettle作爲非常優秀的開源ETL工具得到了非常廣泛的使用,一般的使用的都是使用客戶端操作管理,但問題是當投入生產環境使用時,動輒上百或幾百個job需要管理,這時在使用客戶端管理已經很難完成了。
我所知道的解決方案有用命令行的調用的,操作麻煩,體驗很差(基於命令行上構架出來的一般都用Linux的crontab、或者是Windows下用定時器等);還有就是開發web端管理工具,kettle自帶了一個web端管理工具,界面極其簡陋不說,還很難用,基本無法投入生產環境使用。
上述方法不能滿足後,我開始尋求第三方工具,發現其實調度界的產品還是有很多,有Control-M、TASKCTL等專注調度的老牌廠商;有外包項目集成的Moia、ETS、WFT、IBM集成的調度工具;也有開源的Oozie、Zeus、Azkaban。
挨個查看一下資料後,感覺taskctl應該算裏面比較簡單的,試用後taskctl,還不錯,他們家不僅僅對Kettle支持不錯,基本上市面上常見的數據庫、各種類似的大數據、ETL工具、各種腳本語言都有這不錯的支持力度,即使不支持的,也可以自己擴展。
下面是一些在查找資料過程中收集到的帖子,也一併分享個大家。
作業調度框架:http://blog.csdn.net/victory0508/article/details/8590974
調度工具中美PK ( TASKCTL VS Control-M): http://www.itpub.net/thread-1756140-1-1.html
說說ETL調度工具TASKCTL的五宗最: http://www.itpub.net/thread-1778332-1-1.html
Taskctl調用kettle的例子:http://www.taskctl.com/forum/detail_67.html
如果有什麼地方說的不對,請大家多多指正,共同學習進步!