數據倉庫架構設計的一點概念

1、數據倉庫所處環節

在一個成體系、結構化的數據應用場景下,數據和處理有四個層次: 操作層、數據倉庫層、部門/數據集市層、個體層。

這裏寫圖片描述

操作層

操作層是指爲具體業務提供實時響應的各個業務系統,比如常見的訂單系統、ERP、用戶中心等等具體業務系統,這些系統中的數據一般都是存入關係型數據庫。它們是數據的來源。

數據倉庫

數據倉庫收集操作層各個業務系統中的數據,進行統一格式、統一計量單位,規整有序地組織在一起,爲數據分析、數據挖掘等需求提供數據支持。

數據集市

部門/數據集市層是各個部門根據自己的數據分析需求,從數據倉庫中抽取自己部門所關心的數據報表。

個體層

個體層中的不同角色個體有讀取不同數據的權限。

2、數據倉庫概念

數據倉庫是一個面向主題的、集成的、非易失的、隨時間變化的,用來支持管理人員決策的數據集合,數據倉庫中包含了粒度化的企業數據。

面向主題的

數據倉庫不同於傳統的操作型系統,傳統的操作型系統中的數據是圍繞功能進行組織的,而數據倉庫是針對於某一個主題進行分析數據用的,比如針對於銷售主題、針對於客戶主題等等。

集成的

不同產品或者系統中的數據是分散在各自系統中的,並且格式不一致、計量單位不一致。而數據倉庫必須將多個分散的數據統一爲一致的、無歧義的數據格式後,並解決了命名衝突、計量單位不一致等問題,然後將數據整合在一起,才能稱這個數據倉庫是集成的。

隨時間變化的

數據倉庫要體現出數據隨時間變化的情況,並且可以反映在過去某一個時間點上數據是什麼樣子的,也就是隨時間變化的含義。而傳統的操作型系統,只能保存當前數據,體現當前的情況。

非易失的

非易失是指:數據一旦進入數據倉庫,就不能再被改變了,當在操作型系統中把數據改變後,再進入數據倉庫就會產生新的記錄。這樣數據倉庫就保留了數據變化的軌跡。

3、一般架構

這裏寫圖片描述

1、 STAGE層

業務系統的數據接入到數據倉庫時,首先將業務數據倉儲到STAGE層中,Stage層作爲一個臨時緩衝區,並屏蔽對業務系統的干擾。
STAGE層中的表結構和數據定義一般與業務系統保持一致。
Stage中的數據可以每次全量接入也可以每次增量接入,一般都有會數據老化的機制,不用長期保存。
Stage的數據不會對外部開放。

2、 ODS層

ODS纔是數據倉庫真正意義上的基礎數據,數據是被清洗過的,ODS層的數據是定義統一的、可以體現歷史的、被長期保存的數據。
ODS層的數據粒度與Stage層數據粒度是一致的。
Stage層中的數據是完全形式的源數據,需要進行清洗才能進入ODS層,所以說ODS層是數據倉庫格式規整的基礎數據,爲上層服務。

3、 MDS層

MDS是數據倉庫中間層,數據是以主題域劃分的,並根據業務進行數據關聯形成寬表,但是不對數據進行聚合處理,MDS層數據爲數據倉庫的上層的統計、分析、挖掘和應用提供直接支持。
MDS層的數據也可以執行一定的老化策略。

4、 ADS層

ADS層是數據倉庫的應用層,一般以業務線或者部門劃分庫。這一層可以爲各個業務線創建一個數據庫。
ADS層的數據是基於MDS層數據生成的業務報表數據,可以直接作爲數據倉庫的輸出導出到外部的操作型系統中(MySQL、MSSQL、Hbase、Elasticsearch等)。

5、 DIM層

DIM層是數據倉庫數據中,各層公用的維度數據。比如:省市縣數據。

6、 ETL調度系統

對接入數據倉庫的數據進行清洗、數據倉庫各層間數據流轉都需要大量的程序任務來操作,這些任務一般都是定時的,並且之間都是有前後依賴關係的,爲了能保證任務的有序執行,就需要一個ETL調度系統來管理。

7、 元數據管理系統

描述數據的數據叫做元數據,元數據信息一般包括表名、表描述信息、所在數據庫、表結構、存儲位置等基本信息,另外還有表之間的血緣關係信息、每天的增量信息、表結構修改記錄信息等等。
數據倉庫中有大量的表,元數據管理系統就是用來收集、存儲、查詢數據倉庫中元數據的工具,這個系統爲數據使用方提供了極大的便利。

4、設計的兩個重要問題

1、 粒度

粒度是指數據倉庫中數據單元的細節程度或綜合程度的級別。粒度會深刻地影響數據量的大小以及數據倉庫的查詢能力。
細節程度越高,粒度級別就越低,查詢就越靈活;相反,細節程度越低,粒度級別就越高。
雙重粒度:
雙重粒度是存儲兩個粒度下的數據:一個是全量的細節數據;另一個是輕度綜合的數據。

2、 分區

數據分區是指把數據分散到可獨立處理的分離物理單元中去。恰當地進行分區可以給數據倉庫帶來多個方面的好處:
(1) 數據裝載 (2) 數據訪問 (3) 數據存檔 (4) 數據刪除 (5) 數據監控 (6) 數據存儲

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章