kettle集羣配置

一．前期準備
1.Windows Sever 2012 64位（Kettle_Master） 一定要有除C盤以外的其他盤存在，關閉服務器防火牆
2.Centos7.2 64位（Kettle_Slave）需要以rpm方式安裝webkitgtk（安裝包見附件），關閉服務器防火牆
3.Jdk1.8（window版和linux版都需要）
Windows版安裝教程：https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
Centos版安裝教程
https://blog.csdn.net/weixin_38168694/article/details/100891532
4.Kettle7.1（安裝包見附件，安裝包在windows、linux下通用）
5.Mysql、Oracle等常見數據庫驅動jar包見附件，若沒有請自行下載並放到kettle安裝好的lib路徑下
6.附件下載地址：
https://pan.baidu.com/s/1ehlFvrF-7rj-wEMuqhpX5g 提取碼：z7xz
二．Master配置
1.在windows sever 2012非C盤路徑下創建kettle文件夾；
2.把附件中的pdi-ce-7.1.0.0-12.zip解壓後的pdi-ce-7.1.0.0-12文件拷貝到第一步創建的kettle文件夾下；
3.把kettle/pdi-ce-7.1.0.0-12/data-integration下的pwd文件夾替換成附件中的pwd；
4.編輯C:\Windows\System32\drivers\etc\hosts，在文件末尾添加一行本機IP地址與主機名
例如10.10.10.38 master
5.啓動Master有兩種方法
(1)通過配置文件啓動
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，輸入Carte.bat ./pwd/carte-config-master-9090.xml，出現監聽端口號，瀏覽器輸入IP地址:端口號出現登錄彈框，用戶名：cluster密碼：cluster 成功登錄表示Master啓動成功。
(2)通過主機名 IP地址 端口號啓動
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，輸入Carte.bat master 9090，出現監聽端口號瀏覽器輸入IP地址:端口號出現登錄彈框，用戶名：cluster密碼：cluster 成功登錄表示Master啓動成功。
三．Slave配置
1.在root文件夾下創建kettle文件夾 mkdir kettle；
2.將附件中的pdi-ce-7.1.0.0-12.zip解壓後的pdi-ce-7.1.0.0-12文件拷貝到第一步創建的kettle文件夾下；
3.配置好windows後把C:\Users\Administrator.kettle下的repositories.xml文件拷貝到linux下root/.kettle下面。
4.Cd 到kettle/pdi-ce-7.1.0.0-12/data-integration下，通過ftp形式把pwd文件替換成附件中的pwd；
5.編輯centos hosts文件 vim /etc/hosts，在文件末尾添加一行本機IP地址與主機名，例如10.10.10.39 slave1
6.啓動Master有兩種方法
(3)通過配置文件啓動
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，輸入./Carte.sh ./pwd/carte-config-9091.xml，出現監聽端口號，瀏覽器輸入IP地址:端口號出現登錄彈框，用戶名：cluster密碼：cluster 成功登錄表示Master啓動成功。
(4)通過主機名 IP地址 端口號啓動
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，輸入Carte.bat slave1 9091，出現監聽端口號瀏覽器輸入IP地址:端口號出現登錄彈框，用戶名：cluster密碼：cluster 成功登錄表示Master啓動成功。
Slave節點不止一臺，多臺重複上述步驟，端口號依次修改即可，本教程是一臺Windows Master，三臺 Centos Slave，若實際操作配置不同對pwd文件做針對性操作即可。
四．集羣任務配置
1.Windows Sever 2012上進入kettle/pdi-ce-7.1.0.0-12/data-integration下，啓動spoon.bat；
2.出現圖形化界面後右上方登錄連接數據庫，用戶名密碼默認均爲admin，連接數據庫測試錯誤請回看前期準備工作說明；
3.連接成功後登錄，創建交換任務，表輸入、數據排序、表輸出設置
https://blog.csdn.net/lixuemei504/article/details/38271145
4.將上述鏈接中的集羣配置的主機名、IP、端口號全部換成配置文件的設置；
5.新建執行配置，選擇集羣節點，執行成功，對應節點輸出日誌，到此Kettle集羣搭建成功。
五．注意事項
1.Master與Slave上的配置要同步，pwd、配置文件、數據庫驅動。
2.對服務器上kettle進行修改操作後一定要重啓kettle服務
3.爲了集羣正常使用建議在Master上用Xshell控制Slave
六．遺留問題
1.網站訪問中文會亂碼但不影響任務流程；