工作流調度

【鄭州校區】大數據離線階段Day7之模塊開發----工作流調度
整個項目的數據按照處理過程,從數據採集到數據分析,再到結果數據的導出,一系列的任務可以分割成若干個azkaban的job單元,然後由工作流調度器調度執行。
調度腳本的編寫難點在於shell腳本。但是一般都是有固定編寫模式。大家可以參考資料中的腳本進行編寫。大體框架如下:
#!/bin/bash
#set java env
#set hadoop env
#設置一些主類、目錄等常量
#獲取時間信息
#shell主程序、結合流程控制(if....else)去分別執行shell命令。
更多工作流及hql腳本定義見參考資料。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章