使用dm構建增量刷新的數據倉庫

dm構建數據倉庫

       (以下做法僅代表個人觀點 ,不代表行業規範,如若有誤,請指正,不甚感激。)

        dm做維度數據傳輸,可以自動管理緩慢變化維,所以對於維度數據的刷新,可以採用full refresh方式。就是採用全表刷新的方式。

       而對於事實數據來說,小項目,比如數據量百萬以內的,我們也可以採用truncate方式來做,也叫全量更新。但是對於正規的大型數據倉庫項目來說,全量更新的方式是不合理的,有時甚至是不可能的,比如數據量超1TB(TeraByte),甚至1PB(PetaByte)以上的,全量更新的方式會讓服務器崩潰。所以增量刷新就成爲了必要。

     那麼dm裏如何做到增量更新的方式呢?這個時候需要一個ods層,就是把截止到當前節點更新過的數據刷入ods層,然後使用dm將ods層的數據append到目標數據倉庫。如下:

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章