azkaban安裝使用

1、azkaban最好安裝在有hive sqoop 的機器上方便命令執行


安裝：
1、解壓安裝包
2、創建一個數據庫

create database azkaban;
use azkaban;
3、執行sql 腳本
source /usr/local/azkaban-2.5.0/azkaban-2.5.0/create-all-sql-2.5.0.sql;
4、進入cd azkaban-web-2.5.0/conf目錄下面
--修改上海時區 vi azkaban.properties
default.timezone.id=Asia/Shanghai
--使用這個時區的時候需要運用時區的腳本
tzselect
--tzselect選擇完成後使用腳本覆蓋時區
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

5、創建SSL配置協議 運行命令後後會提示輸入當前生成的keystore 的密碼及相應信息，輸如的密碼請牢記
--shell命令 keytool -keystore keystore -alias jetty -genkey -keyalg RSA
--輸入完密碼之後一直跳過直到 what is the two-letter country code for this unit 輸入國家的兩個簡稱
CN 下一段輸入 YES 下一段請問密碼和keystore密碼是否相同相同直接按回車即可

6、再次進入配置文件並修改 vi azkaban.properties 配置keystore和jetty的密碼還可以配置關聯job的郵箱

7、進入cd azkaban-executor-2.5.0/conf目錄下面
--修改配置文件 vi azkaban.properties
修改時區和mysql配置和keystore和jetty的密碼
8、進入cd azkaban-web-2.5.0/conf目錄下面
--修改用戶配置
vi azkaban-users.xml
增加一條
<user username="admin" password="admin" roles="admin,metrics"/>
9、配置OK

使用azkaban
1、進入cd azkaban-web-2.5.0/bin
啓動服務端 ./azkaban-web-start.sh
2、進入d azkaban-executor-2.5.0/bin
啓動executor端 ./azkaban-executor-start.sh

3、使用谷歌瀏覽器進入頁面
https://mini1:8443/

azkaban介紹
azkaban菜單說明介紹
1、projects：azkaban最重要的一個部分，創建一個工程，將所有的工作流放在工程中執行
2、scheduling：azkaban定時調度任務用的
3、executing：azkaban顯示當前運行的任務
4、history：顯示歷史任務

創建一個工作流後
1、project：有三個按鈕
1、Flows：表示有一個工作流，由多個job組成
2、Permissions：權限管理
3、Project Logs：工程日誌信息

多個job依賴形成工作流
foo.job
#foo.job
type=command
command=echo 'start foo'


bar.job(dependencies依賴的意思，需要後面的參數job執行完成纔可以執行，這個可以按順序寫多個job並且一次用逗號隔開)
#bar.job
type=command
dependencies = foo
command = echo 'srart bar'