1. 工作流程調度系統產生背景
一個完整的數據分析系統通常都是由大量任務單元組成 :
shell腳本程序 , java程序 , MapReduce程序 , hive腳本等
各個任務單元之間存在時間先後依賴關係
爲了更好地組織起這樣的複雜執行計劃 , 需要一個工作流程調度系統來調度執行
2. 工作流程調度實現方式
簡單的任務調度 :
直接使用linux的crontab來定義 , 但是缺點較明顯 , 無法設置依賴 .
複雜的任務調度 :
自主開發調度平臺
使用開源調度系統 , 比如azkaban , ooize , Zeus等
