azkaban安裝Solo Server

azkaban安裝 Solo Server

azkaban 3.57.0 編譯
1、下載源碼包 官網地址爲:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz
清空編譯
結果如下：

[root@hadoop01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /usr/local
[root@hadoop01 home]# cd ./azkaban-3.57.0
[root@hadoop01 azkaban-3.57.0]# ./gradlew clean 

編譯並安裝插件

結果如下：速度可能很慢！！！（我的一個小時）

root@hadoop01 azkaban-3.57.0]# ./gradlew installDist

編譯但不運行測試

root@hadoop01 home]# ./gradlew build -x test

編譯結果如下：

編譯成功後，在目錄下{azkaban-solo-server、azkaban-web-server、azkaban-execserver}/build/distributions目錄下都會生成相應的壓縮包

[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-execserver/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-soloserver/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-webserver/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-db/build/distributions/azkaban-db0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0

編譯過程中，如有錯誤，需要再次運行編譯命令。
編譯過程中，如果包不能下載，則可以考慮手動下載放到服務器對應的位置即可。

Solo Server安裝

1、Solo Server簡介
這種Solo Server服務是azkaban的單機版，即是單實例，它安裝簡單，便於學習。他的優點如下： 安裝簡單:不需要msql實例，它內置h2來做存儲。 啓動簡單：web server和executor server都運行在相同進程中。 功能齊全：它包含所有azkaban的特徵。你可以使用azkaban用這種通用方法併爲其安裝插件。

2、安裝

[root@hadoop01 azkaban3.57.0]# mkdir /usr/local/azkaban
[root@hadoop01 azkaban3.57.0]# tar -zxvf /usr/local/azkaban3.57.0/azkaban-soloserver-0.1.0-SNAPSHOT.tar.gz -C /usr/local/azkaban
[root@hadoop01 azkaban3.57.0]# cd /usr/local/azkaban/ 
[root@hadoop01 azkaban]# mv ./azkaban-solo-server-0.1.0-SNAPSHOT/ ./soloserver
[root@hadoop01 azkaban]# cd ./soloserver/

3、配置用戶

[root@hadoop01 soloserver]# vi ./conf/azkaban-users.xml 在第4行添加內容如下： <user password="admin" roles="metrics,admin" username="admin"/>

soloserver的安裝配置完成。

測試
啓動(注意在soloserver的目錄下啓動)，如果服務未啓動，可在啓動目錄下查看日誌信息

[root@hadoop01 soloserver]# ./bin/start-solo.sh

2、測試啓動是否成功
瀏覽器訪問http://hadoop01:8081/:
點擊登錄如下：user:admin p:admin

3.創建項目

4、停止服務

[root@hadoop01 soloserver]#./bin/shutdown-solo.sh

azkaban的command job案例

1、創建job(一定要注意編碼！！)

type=command                                                    
command=echo 'hello_azkaban'

2、將job打包zip並上傳

3、運行job
然後exexute—>continue.即可執行。

4、查看結果

Azkanban的shell腳本調度案例

1、創建一個shell文件(注意編碼)

文件名azshell.sh，內容如下:
#!/bin/bash echo hello_azkaban >> /home/log/az.log

2、創建job(注意編碼)

type=command command=/bin/bash azshell.s

3、打包job(一定要將azshell.sh和azshell.job打包進來)

4、上傳壓縮包並執行
查看結果

azkaban的mapreduce的案

1、創建job(注意編碼)

type=command                                                     command=/usr/local/hadoop-2.7.1/bin/yarn jar hadoop-mapreduce-examples-2.7.1.jar wordcount /words /out/az00

2、將job打包zip並上傳
3、運行
4、查看結果

azkabn的依賴案例

1、創建jobB(注意編碼)

#!/bin/bash 
echo hello_bbb >/home/log/b.log sleep 66s
type=command 
command=/bin/bash b.sh

2、創建jobA,並且jobA依賴jobB(注意編碼)

#!/bin/bash echo hello_aaa >/home/log/a.log
type=command 
dependencies=jobB 
command=/bin/bash a.sh

將job打包zip並上傳

[外鏈圖片轉存失敗(img-JVGWnSao-1569415366425)(1569415311472.png)]
3、運行job
然後exexute—>continue.即可執行。
4、查看結果