一、需求
DataX阿里的開源的時候並未提供任何可視化界面,我們在使用的過程中,需要將Json配置文件放到Datax的job路徑下,隨着業務的增加,配置文件不方便管理並且每次執行都需要修改命令,非常不方便。
二、平臺簡介
平臺主要用於數據同步、數據處理等等ETL操作。
平臺基於阿里的開源同步工具datax3.0開發。
平臺開發語言Java 8。
平臺運行環境無要求。
數據庫Mysql5.7。
Python環境建議Python2.7。
項目地址:https://github.com/WeiYe-Jing/springboot-datax
項目運行
1. 下載datax打包之後的文件或者github拉取datax代碼打包,配置環境變量。
DATAX_HOME=G:\learndemo\springboot-datax\datax\bin
2. 執行datax-web/db下面的sql文件並修改application.yml數據庫配置信息。
3. application.yml配置數據抽取日誌文件保存路徑。
etlLogDir: D:\temp\logs\datax-web\
4. 終端訪問測試作業接口。
curl http://localhost:8080/startJob
5.打開網頁端啓動作業。
http://localhost:8080/index.html#/datax/job
6.在線配置Job。