【案例+PPT】普元信息臧一超:海量數據下“流批一體”的數據平臺演進路線

“數據中臺新範式”雲端峯會,深入解析湖倉一體、批流一體、治理與運營“三位一體”的數據中臺新範式特徵,普元信息數智研究院副院長臧一超在峯會發表演講《海量數據下的高性能流批一體數據開發平臺》。

18分鐘完整回放視頻見文末,拎幾個特別精彩的內容給大家,添加元寶微信,還可獲取完整PPT:

1、三個關鍵痛點
技術角度 依賴多種工具引擎、開發/測試/生產多套環境不易維護、數據開發過程繁瑣)
②成本角度 建設成本、維護成本)
③管理角度 沒有統一的團隊協作平臺、大量流批任務運行過程中很難有效監控、大量流批任務運行過程中很難有效監控)
2、八個業務場景
DataOps: 真正實現數據開發運營一體化DataOps理念
數據資產: 融入數據資產盤點和運營方法論
雲原生: 本地化+雲部署方式,支持彈性擴展、集中式管理
場景式開發方法: 需求、設計、開發、測試、運維一體化開發理念,給用戶一站式體驗
數據治理: 融入數據治理方法論, 數據標準、質量、稽覈自動執行
湖倉一體: 融入數倉、湖倉交付理念, 模板化配置,敏捷構建實時數倉
計算引擎: 支持PDI/DataX/Spark/Flink/Seataunl等多種計算引擎

數據服務:提供數據服務能力,實現數據API發佈與全生命週期管理

3、六個技術方案

實現數據研發、治理、運營一體化的DataOps理念
完整的數據源支持能力,適配各類湖倉數據源類型

③ 豐富多樣的數據集成組件,數據開發場景全覆蓋

多種流批計算引擎支持,並可按需、按環境切換

場景式開發方式,需求、設計、開發、測試、部署一站式體驗

嚮導式、模板式的開發方法,融入普元多年數據開發實踐

4、應用案例

某大型國有獨資企業數據平臺建設

添加元寶微信,獲取PPT下載。

 

本文分享自微信公衆號 - EAWorld(eaworld)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章