BI的體系架構及相關技術

一個BI系統爲了滿足企業管理者的要求,從浩如煙海的資料中找出其關心的數據,必須要做到以下幾步:

1)爲了整合各種格式的數據,清除原有數據中的錯誤記錄——數據預處理的要求。

2)對預處理過數據,應該統一集中起來——元數據(Meta Data)、數據倉庫(Data Warehouse)的要求;

3)最後,對於集中起來的龐大的數據集,還應進行相應的專業統計,從中發掘出對企業決策有價值的新的機會——OLAP(聯機事務分析)和數據挖掘(Data Mining)的要求。

所以,一個典型的BI體系架構應該包含這3步所涉及的相關要求。

BI的體系架構

圖1 BI的體系架構

整個體系架構中包括:終端用戶查詢和報告工具、OLAP工具、數據挖掘(Data Mining)軟件、數據倉庫(Data Warehouse)和數據集市(Data Mart)產品、聯機分析處理(OLAP)等工具。

1)終端用戶查詢和報告工具。

專門用來支持初級用戶的原始數據訪問,不包括適應於專業人士的成品報告生成工具。

2)數據預處理(STL-數據抽取、轉換、裝載)

從許多來自不同的企業運作系統的數據中提取出有用的數據並進行清理,以保證數據的正確性,然後經過抽取(Extraction)、轉換(Transformation)和裝載(Load),即ETL過程,合併到一個企業級的數據倉庫裏,從而得到企業數據的一個全局視圖。

3)OLAP工具。

提供多維數據管理環境,其典型的應用是對商業問題的建模與商業數據分析。OLAP也被稱爲多維分析。

4)數據挖掘(Data Mining)軟件。

使用諸如神經網絡、規則歸納等技術,用來發現數據之間的關係,做出基於數據的推斷。

5)數據倉庫(Data Warehouse)和數據集市(Data Mart)產品。

包括數據轉換、管理和存取等方面的預配置軟件,通常還包括一些業務模型,如財務分析模型。

6)聯機分析處理(OLAP)。

OLAP是使分析人員、管理人員或執行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟件技術。

其中核心技術在於數據預處理、數據倉庫的建立(DW)、數據挖掘(DM)和聯機分析處理(OLAP)三個部分。接下來,我們對這幾個核心部分進行詳細說明:

 

當早期大型的在線事務處理系統(OLTP)問世後不久,就出現了一種用於“抽取”處理的簡單程序,其作用是搜索整個文件和數據庫,使用某些標準選擇合乎要求的數據,將其複製拷貝出來,用於總體分析。因爲這樣做不會影響正在使用的在線事務處理系統,降低其性能,同時,用戶可以自行控制抽取出來的數據。但是,現在情況發生了巨大的變化,企業同時採用了多個在線事務處理系統,而這些系統之間的數據定義格式不盡相同,即使採用同一軟件廠商提供的不同軟件產品,或者僅僅是產品版本不同,之間的數據定義格式也有少許差距。由此,我們必須先定義一個統一的數據格式,然後把各個來源的數據按新的統一的格式進行轉換,然後集中裝載入數據倉庫中。

其中,尤其要注意的一點時,並不是各個來源的不同格式的所有數據都能被新的統一格式包容,我們也不應強求非要把所有數據源的數據全部集中起來。Why?原因很多。有可能原來錄入的數據中,少量的記錄使用了錯誤的數據,這類數據如果無法校正,應該被捨去。某些數據記錄是非結構化的,很難將其轉化成新定義的統一格式,而且從中抽取信息必須讀取整個文件,效率極低,如大容量的二進制數據文件,多媒體文件等,這類數據如果對企業決策不大,可以捨去。

目前已有一部分軟件廠商開發出專門的ETL工具,其中包括:

Ardent DataStage

Evolutionary Technologies,Inc.(ETI)Extract 

Information Powermart 

Sagent Solution 

SAS Institute 

Oracle Warehouse Builder 

MSSQL Server2000 DTS

數據倉庫

數據倉庫概念是由號稱“數據倉庫之父”William H.Inmon在上世紀80年代中期撰寫的《建立數據倉庫》一書中首次提出,“數據倉庫是一個面向主題的、集成的、非易失性的,隨時間變化的用來支持管理人員決策的數據集合”。

面向主題是數據倉庫第一個顯著特點,就是指在數據倉庫中,數據按照不同的主題進行組織,每一個主題中的數據都是從各操作數據庫中抽取出來彙集而成,這些與該主題相關的所有歷史數據就形成了相應的主題域。

數據倉庫的第二個顯著特點是集成。數據來源於不同的數據源,通過相應的規則進行一致性轉換,最終集成爲一體。

數據倉庫的第三個特點是非易失性。一旦數據被加載到數據倉庫中,數據的值不會再發生變化,儘管運行系統中對數據進行增、刪、改等操作,但對這些數據的操作將會作爲新的快照記錄到數據倉庫中,從而不會影響到已經進入到數據倉庫的數據。

數據倉庫最後一個特點是它隨時間變化。數據倉庫中每一個數據都是在特定時間的記錄,每個記錄都有着相應的時間戳。

數據倉庫體系架構

 

圖2 數據倉庫體系架構

 

數據倉庫對外部數據源和操作型數據源的元數據,按照數據倉庫模式設計要求進行歸類,並建成元數據庫,相對應的數據經過ETL後加載到數據倉庫中;當信息客戶需要查詢數據時先通過信息展現系統瞭解元數據或者直接瀏覽元數據庫,再發起數據查詢請求得到所需數據。

一個典型的企業數據倉庫系統,通常包含數據源、數據存儲與管理、數據的訪問三個部分。

數據倉庫系統

 

圖3 數據倉庫系統

 

數據源:是指企業操作型數據庫中的各種生產運營數據、辦公管理數據等內部數據和一些調查數據、市場信息等來自外環境的數據總稱。這些數據是構建數據倉庫系統的基礎是整個系統的數據源泉。

數據的存儲與管理:數據倉庫的存儲主要由元數據的存儲及數據的存儲兩部分組成。元數據是關於數據的數據,其內容主要包括數據倉庫的數據字典、數據的定義、數據的抽取規則、數據的轉換規則、數據加載頻率等信息。各操作數據庫中的數據按照元數據庫中定義的規則,經過抽取、清理、轉換、集成,按照主題重新組織,依照相應的存儲結構進行存儲。也可以面向應用建立一些數據集市,數據集市可以看作是數據倉庫的一個子集,它含有較少的主題域且歷史時間更短數據量更少,一般只能爲某個局部範圍內的管理人員服務,因此也稱之爲部門級數據倉庫。

數據的訪問:由OLAP(聯機分析處理)、數據挖掘、統計報表、即席查詢等幾部分組成。例如OLAP:針對特定的分析主題,設計多種可能的觀察形式,設計相應的分析主題結構(即進行事實表和維表的設計),使管理決策人員在多維數據模型的基礎上進行快速、穩定和交互性的訪問,並進行各種複雜的分析和預測工作。按照存儲方式來分,OLAP可以分成MOLAP以及ROLAP等方式,MOLAP(Multi-Dimension OLAP)將OLAP分析所需的數據存放在多維數據庫中。分析主題的數據可以形成一個或多個多維立方體。ROLAP(Relational OLAP)將OLAP分析所需的數據存放在關係型數據庫中。分析主題的數據以“事實表-維表”的星型模式組織。

 

數據挖掘的定義非常模糊,對它的定義取決於定義者的觀點和背景。如下是一些DM文獻中的定義:

數據挖掘是一個確定數據中有效的,新的,可能有用的並且最終能被理解的模式的重要過程。

數據挖掘是一個從大型數據庫中提取以前未知的,可理解的,可執行的信息並用它來進行關鍵的商業決策的過程。

數據挖掘是用在知識發現過程,來辯識存在於數據中的未知關係和模式的一些方法。數據挖掘是發現數據中有益模式的過程。

數據挖掘是我們爲那些未知的信息模式而研究大型數據集的一個決策支持過程。

雖然數據挖掘的這些定義有點不可觸摸,但在目前它已經成爲一種商業事業。如同在過去的歷次淘金熱中一樣,目標是`開發礦工`。利潤最大的是賣工具給礦工,而不是幹實際的開發。

目前業內已有很多成熟的數據挖掘方法論,爲實際應用提供了理想的指導模型。其中,標準化的主要有三個:CRISP-DM;PMML;OLE DB for DM。

CRISP-DM(Cross-Industry Standard Process for Data Mining)是目前公認的、較有影響的方法論之一。CRISP-DM強調,DM不單是數據的組織或者呈現,也不僅是數據分析和統計建模,而是一個從理解業務需求、尋求解決方案到接受實踐檢驗的完整過程。CRISP-DM將整個挖掘過程分爲以下六個階段:商業理解(Business Understanding),數據理解(Data Understanding),數據準備(Data Preparation),建模(Modeling),評估(Evaluation)和發佈(Deployment)。其框架圖如下:

CRISP-DM模型框架圖

 

圖4 CRISP-DM模型框架圖

 

從技術層來看,數據挖掘技術可分爲描述型數據挖掘和預測型數據挖掘兩種。描述型數據挖掘包括數據總結、聚類及關聯分析等。預測型數據挖掘包括分類、迴歸及時間序列分析等。

1.數據總結:繼承於數據分析中的統計分析。數據總結目的是對數據進行濃縮,給出它的緊湊描述。傳統統計方法如求和值、平均值、方差值等都是有效方法。另外還可以用直方圖、餅狀圖等圖形方式表示這些值。廣義上講,多維分析也可以歸入這一類。

2.聚類:是把整個數據庫分成不同的羣組。它的目的是使羣與羣之間差別很明顯,而同一個羣之間的數據儘量相似。這種方法通常用於客戶細分。在開始細分之前不知道要把用戶分成幾類,因此通過聚類分析可以找出客戶特性相似的羣體,如客戶消費特性相似或年齡特性相似等。在此基礎上可以制定一些針對不同客戶羣體的營銷方案。

3.關聯分析:是尋找數據庫中值的相關性。兩種常用的技術是關聯規則和序列模式。關聯規則是尋找在同一個事件中出現的不同項的相關性;序列模式與此類似,尋找的是事件之間時間上的相關性,如對股票漲跌的分析等。

4.分類:目的是構造一個分類函數或分類模型(也常常稱作分類器),該模型能把數據庫中的數據項映射到給定類別中的某一個。要構造分類器,需要有一個訓練樣本數據集作爲輸入。訓練集由一組數據庫記錄或元組構成,每個元組是一個由有關字段(又稱屬性或特徵)值組成的特徵向量,此外,訓練樣本還有一個類別標記。一個具體樣本的形式可表示爲:(v1,v2,...,vn;c),其中vi表示字段值,c表示類別。

5.迴歸:是通過具有已知值的變量來預測其它變量的值。一般情況下,迴歸採用的是線性迴歸、非線性迴歸這樣的標準統計技術。一般同一個模型既可用於迴歸也可用於分類。常見的算法有邏輯迴歸、決策樹、神經網絡等。

6.時間序列:時間序列是用變量過去的值來預測未來的值。

數據挖掘(Data Mining)軟件。使用諸如神經網絡、規則歸納等技術,用來發現數據之間的關係,做出基於數據的推斷。

數據挖掘系統

 

圖5 數據挖掘系統

 

以下是一些當前的數據挖掘產品:

IBM: Intelligent Miner 智能礦工

Tandem: Relational Data Miner 關係數據礦工

AngossSoftware: KnowledgeSEEDER 知識搜索者

Thinking Machines Corporation: DarwinTM

NeoVista Software: ASIC

ISL Decision Systems,Inc.: Clementine

DataMind Corporation: DataMind Data Cruncher

Silicon Graphics: MineSet

California Scientific Software: BrainMaker

WizSoft Corporation: WizWhy

Lockheed Corporation: Recon

SAS Corporation: SAS Enterprise Miner

 

OLAP的概念最早是由關係數據庫之父E.F.Codd於1993年提出的,他同時提出了關於OLAP的12條準則。OLAP的提出引起了很大的反響,OLAP作爲一類產品同聯機事務處理(OLTP)明顯區分開來。

當今的數據處理大致可以分成兩大類:聯機事務處理OLTP(On-Line Transaction Processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型數據庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。OLAP是數據倉庫系統的主要應用,支持複雜的分析操作,側重決策支持,並且提供直觀易懂的查詢結果。

OLAP是使分析人員、管理人員或執行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟件技術。OLAP的目標是滿足決策支持或者滿足在多維環境下特定的查詢和報表需求,它的技術核心是"維"這個概念。

“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分。“維”一般包含着層次關係,這種層次關係有時會相當複雜。通過把一個實體的多項重要的屬性定義爲多個維(DImension),使用戶能對不同維上的數據進行比較。因此OLAP也可以說是多維數據分析工具的集合。

OLAP的基本多維分析操作有鑽取(Roll Up和Drill Down)、切片(Slice)和切塊(Dice)、以及旋轉(Pivot)、Drill Across、Drill Through等。

鑽取是改變維的層次,變換分析的粒度。它包括向上鑽取(Roll Up)和向下鑽取(Drill Down)。Roll Up是在某一維上將低層次的細節數據概括到高層次的彙總數據,或者減少維數;而Drill Down則相反,它從彙總數據深入到細節數據進行觀察或增加新維。

切片和切塊是在一部分維上選定值後,關心度量數據在剩餘維上的分佈。如果剩餘的維只有兩個,則是切片;如果有三個,則是切塊。

旋轉是變換維的方向,即在表格中重新安排維的放置(例如行列互換)。

OLAP有多種實現方法,根據存儲數據的方式不同可以分爲ROLAP、MOLAP、HOLAP。

ROLAP表示基於關係數據庫的OLAP實現(Relational OLAP)。以關係數據庫爲核心,以關係型結構進行多維數據的表示和存儲。ROLAP將多維數據庫的多維結構劃分爲兩類表:一類是事實表,用來存儲數據和維關鍵字;另一類是維表,即對每個維至少使用一個表來存放維的層次、成員類別等維的描述信息。維表和事實表通過主關鍵字和外關鍵字聯繫在一起,形成了“星型模式”。對於層次複雜的維,爲避免冗餘數據佔用過大的存儲空間,可以使用多個表來描述,這種星型模式的擴展稱爲“雪花模式”。

MOLAP表示基於多維數據組織的OLAP實現(Multidimensional OLAP)。以多維數據組織方式爲核心,也就是說,MOLAP使用多維數組存儲數據。多維數據在存儲中將形成“立方塊(Cube)”的結構,在MOLAP中對“立方塊”的“旋轉”、“切塊”、“切片”是產生多維數據報表的主要技術。

HOLAP表示基於混合數據組織的OLAP實現(Hybrid OLAP)。如低層是關係型的,高層是多維矩陣型的。這種方式具有更好的靈活性。

還有其他的一些實現OLAP的方法,如提供一個專用的SQL Server,對某些存儲模式(如星型、雪片型)提供對SQL查詢的特殊支持。

OLAP工具是針對特定問題的聯機數據訪問與分析。它通過多維的方式對數據進行分析、查詢和報表。維是人們觀察數據的特定角度。例如,一個企業在考慮產品的銷售情況時,通常從時間、地區和產品的不同角度來深入觀察產品的銷售情況。這裏的時間、地區和產品就是維。而這些維的不同組合和所考察的度量指標構成的多維數組則是OLAP分析的基礎,可形式化表示爲(維1,維2,……,維n,度量指標),如(地區、時間、產品、銷售額)。多維分析是指對以多維形式組織起來的數據採取切片(Slice)、切塊(Dice)、鑽取(Drill Down和Roll Up)、旋轉(Pivot)等各種分析動作,以求剖析數據,使用戶能從多個角度、多側面地觀察數據庫中的數據,從而深入理解包含在數據中的信息。

根據綜合性數據的組織方式的不同,目前常見的OLAP主要有基於多維數據庫的MOLAP及基於關係數據庫的ROLAP兩種。MOLAP是以多維的方式組織和存儲數據,ROLAP則利用現有的關係數據庫技術來模擬多維數據。在數據倉庫應用中,OLAP應用一般是數據倉庫應用的前端工具,同時OLAP工具還可以同數據挖掘工具、統計分析工具配合使用,增強決策分析功能。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章