正在思考在數據項目中,提供一個什麼樣的開發工具,可以提高數據治理效率,降低ETL門檻,在政府項目中可以讓更多的委辦局利用雲平臺完成數據治理的工作。下圖是初步構建的一個功能,不同於kettle等ETL工具,這個工具希望能將盡可能多的業務規範、業務概念整合爲開發組件,將成熟的範式直接應用到數據清洗與融合的過程中,讓數據流程看起來更接近業務視角。另外,考慮到設計的數據流程直接轉換爲ETL腳本,可能會存在性能的問題,因此在發佈之前,引入編譯的過程,通過將流程節點進行合併優化,生成更加高效的ETL腳本用於作業執行。
一站式數據開發工具構思
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
千萬數據卻只用6步管理!這套數據治理架構如何100%複用?
帆软商业智能技术
2020-07-03 23:37:22
想不到!智能運維的正確姿勢:從臨場救火到淡然飲茶!
科技星象
2020-07-03 15:37:56
一週新聞縱覽:歐洲交通燈曝安全漏洞,北京發佈新基建方案,任天堂30萬賬戶被入侵
shipinginfo
2020-07-02 19:52:53
DataOps三原則,數據平臺運營必讀!
Informatica-小殷
2020-07-02 11:38:44
萬億級數據,如何高效進行數據治理
个推开发者
2020-07-01 23:51:54
【華爲雲技術分享】解析數據治理在過程可信變革中的運作流程
华为云
2020-06-29 16:24:44
數據治理系列4:主數據管理實施四部曲概論
谈数据
2020-06-29 01:06:35
數據治理系列5:淺談數據質量管理
谈数据
2020-06-29 01:06:34
數據治理中 PyODPS 的正確使用方式
阔海星沉
2020-06-28 21:51:59
Hadoop的元數據治理--Apache Atlas
forever428
2020-06-26 23:01:15
政府大數據的資源庫建設
萝卜@大数据
2020-06-22 08:28:32
政府大數據之數據治理
萝卜@大数据
2020-06-22 08:28:32
政府大數據之數據需求管理
萝卜@大数据
2020-06-22 08:28:32
政府大數據之資源目錄管理
萝卜@大数据
2020-06-22 08:28:32