1、調度系統背景
一個完整的大數據分析系統通常都是由大量任務單元組成：shell腳本程序，mapreduce程序、
hive腳本、spark程序等。
各任務單元之間存在時間先後及前後依賴關係:先後關係、依賴關係、定時執行。
爲了很好地組織起這樣的複雜執行計劃，需要一個工作流調度系統來調度執行。
2、常見調度系統
簡單的任務調度：直接使用linux的crontab來定義、shell和python腳本實現
現成開源任務調度: ooize、azkaban和airflow等
複雜的任務調度：自研調度平臺
3.概念介紹
Azkaban is a distributed Workflow Manager, implemented at LinkedIn to
solve the problem of Hadoop job dependencies. We had jobs that needed
to run in order, from ETL jobs to data analytics products
Azkaban是一個分佈式工作流管理器，在LinkedIn上實現解決Hadoop作業依賴性的問題。
我們有需要的工作按順序運行，從ETL作業到數據分析產品
4、特點
- 兼容任何hadoop版本
- 容易使用的web ui
- 簡介的web和http工作流的上傳
- 項目庫
- 工作流調度
- 模塊化和插件化
- 授權和驗證
- 用戶action的跟蹤
- 成功和失敗的郵件報警
- SLA警報和自動殺死任務
- 失敗作業的重試
5.兩種模式
After version 3.0, we provide two modes: the stand alone “solo-server”
mode and distributed multiple-executor mode. The following describes
the differences between the two modes. In solo server mode, the DB is
embedded H2 and both web server and executor server run in the same
process. This should be useful if one just wants to try things out. It
can also be used on small scale use cases. The multiple executor mode
is for most serious production environment. Its DB should be backed by
MySQL instances with master-slave set up. The web server and executor
servers should ideally run in different hosts so that upgrading and
maintenance shouldn’t affect users. This multiple host setup brings in
robust and scalable aspect to Azkaban. Set up the database Configure
database to use multiple executors Download and install the Executor
Server for each executor configured in database Install Azkaban
Plugins Install the Web Server Below are instructions on how to set
Azkaban up. 中文（簡體）
在3.0版之後，我們提供了兩種模式：獨立的“單服務器”模式和分佈式多執行器模式。下面介紹兩種模式之間的區別。
在單獨服務器模式下，數據庫是嵌入式H2，並且Web服務器和執行程序服務器都在同一進程中運行。如果只想嘗試一下，這將很有用。它也可以用於小規模的用例。
多重執行器模式適用於最嚴重的生產環境。它的數據庫應由設置了主從關係的MySQL實例支持。理想情況下，網絡服務器和執行器服務器應在不同的主機上運行，以免升級和維護對用戶產生影響。這種多主機設置爲Azkaban帶來了強大且可擴展的方面。
設置數據庫 配置數據庫以使用多個執行程序 爲數據庫中配置的每個執行器下載並安裝執行器服務器 安裝Azkaban插件 安裝Web服務器
以下是有關如何設置Azkaban的說明。 翻譯此頁面 在Google翻譯中打開