【鄭州校區】大數據離線階段Day7之模塊開發----工作流調度
整個項目的數據按照處理過程,從數據採集到數據分析,再到結果數據的導出,一系列的任務可以分割成若干個azkaban的job單元,然後由工作流調度器調度執行。
調度腳本的編寫難點在於shell腳本。但是一般都是有固定編寫模式。大家可以參考資料中的腳本進行編寫。大體框架如下:
#!/bin/bash
#set java env
#set hadoop env
#設置一些主類、目錄等常量
#獲取時間信息
#shell主程序、結合流程控制(if....else)去分別執行shell命令。
更多工作流及hql腳本定義見參考資料。
工作流調度
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Docker架構與工作流程
eflypro小普
2019-02-22 20:41:28
Director Scene Layer and Sprite 導演、場景、層及精靈
konvie
2019-02-22 20:37:58
Activiti 工作流會籤開發設計思路
馬背大彬
2019-02-22 18:52:04
CocosCreator手記01——數據驅動的工作流
老G
2019-02-22 16:11:13
工作流(Workflow)
fiveYearsChange
2019-02-22 15:27:10
RDIFramework.NET ━ .NET快速信息化系統開發框架鉅獻 V2.9 版本震撼發佈
yonghu86
2019-02-22 15:05:13
工作流技術
qianyu668899
2019-02-22 14:28:14
爲Docker Swarm添加調度策略
nxlhero
2019-02-22 22:08:03
SylixOS任務調度分析
wx5b839f7ecbff3
2019-02-22 20:24:00
調度sysback備份AIX系統
rock_mis
2019-02-22 19:39:41
緊急救援!高速公路調度有“智”揮
zed_3
2019-02-22 17:08:26
Linux學習筆記:Linux系統的進程調度(任務調度)
何時心安
2019-02-22 14:41:08