dm構建數據倉庫
(以下做法僅代表個人觀點 ,不代表行業規範,如若有誤,請指正,不甚感激。)
dm做維度數據傳輸,可以自動管理緩慢變化維,所以對於維度數據的刷新,可以採用full refresh方式。就是採用全表刷新的方式。
而對於事實數據來說,小項目,比如數據量百萬以內的,我們也可以採用truncate方式來做,也叫全量更新。但是對於正規的大型數據倉庫項目來說,全量更新的方式是不合理的,有時甚至是不可能的,比如數據量超1TB(TeraByte),甚至1PB(PetaByte)以上的,全量更新的方式會讓服務器崩潰。所以增量刷新就成爲了必要。
那麼dm裏如何做到增量更新的方式呢?這個時候需要一個ods層,就是把截止到當前節點更新過的數據刷入ods層,然後使用dm將ods層的數據append到目標數據倉庫。如下: