在和數據架構師聊天的時候,提到了ODS.當時對這個概念並不是很瞭解,需要深入學習一下
一.ODS、DW和DM概念
ODS: 操作性數據;
DW: 數據倉庫;
DM: 數據集市;
ODS的數據是"實時值
",而數據倉庫的數據卻是"歷史值
",一般ODS中儲存的數據不超過一個月,而數據倉庫爲10年或更多.
DSS(decision-support system)決策支持系統:用於支持管理決策的系統。通常,DSS包括以啓發的方式對大量的數據單元進行的分析,通常不涉及數據更新。
二.數據倉庫和ODS並存方案
1、業務數據 - ODS - 數據倉庫
優點:ODS的數據與數據倉庫的數據高度統一;開發成本低,至少開發一次並應用到ODS即可;可見ODS是發揮承上啓下的作用,調研阿里巴巴的數據部門也是這麼實現的。
缺點:數據倉庫需要的所有數據都需要走ODS,ODS的靈活性必然受到影響,甚至不利於擴展、系統的靈活性差
2、OB - ODS
優點:所有數據都歸結到ODS,結構簡單。一般的初創數據分析團隊都是類似的結構
缺點:長期數據決策分析能力差,軟硬件成本高,模塊劃分不清晰,通用性差
3、數據倉庫和ODS並行
4.ODS、DW、DM協作層次圖
5.通過一個簡單例子看這幾層的協作關係
6.ODS到DW的集成示例
參考:https://www.cnblogs.com/kuang17/p/7091941.html
參考:https://www.jianshu.com/p/72e395d8cb33