12月5日Spark社區直播【是時候改變你數倉的增量同步方案了】

議題:

是時候改變你數倉的增量同步方案了

直播間直達(回看)鏈接:

https://tianchi.aliyun.com/course/live?&liveId=41124

簡介:

本分享會先介紹傳統數據增量同步方案,之後對比新方案(完全基於Spark無需額外組件),介紹新方案如何結合最新的數據湖(delta lake)實現,同時引入spark-binlog,極大的簡化了數據增量的門檻和架構。如果時間允許,我們也會簡單介紹開源項目spark-binlog,delta-plus等的內部設計是如何支持我們新的數據增量方案的。

講師:

祝威廉,資深數據架構,11年研發經驗。同時維護和開發多個開源項目。擅長大數據/AI領域的一些思路和工具。現專注於構建集大數據和機器學習於一體的綜合性平臺,降低AI落地成本相關工作上。

時間:

2019年12月5日

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章