議題:
是時候改變你數倉的增量同步方案了
直播間直達(回看)鏈接:
https://tianchi.aliyun.com/course/live?&liveId=41124
簡介:
本分享會先介紹傳統數據增量同步方案,之後對比新方案(完全基於Spark無需額外組件),介紹新方案如何結合最新的數據湖(delta lake)實現,同時引入spark-binlog,極大的簡化了數據增量的門檻和架構。如果時間允許,我們也會簡單介紹開源項目spark-binlog,delta-plus等的內部設計是如何支持我們新的數據增量方案的。
講師:
祝威廉,資深數據架構,11年研發經驗。同時維護和開發多個開源項目。擅長大數據/AI領域的一些思路和工具。現專注於構建集大數據和機器學習於一體的綜合性平臺,降低AI落地成本相關工作上。
時間:
2019年12月5日