大數據基礎(一)——關係+文章

一、DB、ETL、DW、OLAP、DM、BI關係結構圖

轉載自:http://www.cnblogs.com/ycdx2001/p/4538750.html

(1)DB/Database/數據庫——這裏一般指的就是OLTP數據庫,在線事物數據庫,用來支持生產的,比如超市的買賣系統。DB保留的是數據信息的最新狀態,只有一個狀態!比如,每天早上起牀洗臉照鏡子,看到的就是當時的狀態,至於之前的每天的狀態,不會出現的你的眼前,這個眼前就是db。


(2)DW/Data Warehouse/數據倉庫——這裏保存的是DB中的不同時間點的狀態,比如,每天早上洗完照鏡子時,都拍一張照片,天天這樣,這些照片放入到一個相冊中,之後就可以查看每一天的狀態了,這個相冊就是數據倉庫,他保存的是數據在不同時間點的狀態,對同一個數據信息,保留不同時間點的狀態,就便於我們做統計分析了。


(3)ETL/Extraction-Transformation-Loading——用於完成DB到DW的數據轉存,它將DB中的某一個時間點的狀態,“抽取”出來,根據DW的存儲模型要求,“轉換”一下數據格式,然後再“加載”到DW的一個過程,這裏需要強調的是,DB的模型是ER模型,遵從範式化設計原則,而DW的數據模型是雪花型結構或者星型結構,用的是面向主題,面向問題的設計思路,所以DB和DW的模型結構不同,需要進行轉換。 

(4)OLAP——在線分析系統,簡單說就是報表系統,銷售報表,統計報表,等等,這個大家都熟悉,當然,OLAP的統計要更復雜更豐富一些,比如切面,鑽取等等。 

(5)DM/Data Mining/數據挖掘——這個挖掘,不是簡單的統計了,他是根據概率論的或者其他的統計學原理,將DW中的大數據量進行分析,找出我們不能直觀發現的規律,比如,如果我們每天早上照相,量身材的時候,還記錄下頭一天吃的東西,黃瓜,豬腿,烤鴨,以及心情,如果記錄上10年,形成了3650天的相貌和飲食心情的數據,我們每個人都記錄,有20萬人記錄了,那麼,我們也許通過這些記錄,可以分析出,身材相貌和飲食的客觀規律;再說一個典型的實例,就是英國的超市,在積累了大量數據之後,對數據分析挖掘之後,得到了一個規律:將小孩的尿布和啤酒放在一起,銷量會更好——業務專家在得到該結論之後,仔細分析,知道了原因,因爲英國男人喜歡看足球的多,老婆把小孩介紹男人看管,小孩尿尿需要尿布,而男人看足球喜歡喝酒,所以兩樣商品有密切的關係,放在一起銷售會更好!

 

(6)BI/Business Intelligence/商業智能——領導,決策者,在獲取了OLAP的統計信息,和DM得到的科學規律之後,對生產進行適當的調整,比如,命令超市人員將啤酒喝尿布放在一起銷售,這就反作用於DB修改存貨數據了——這就是整個BI的作用!


信息技術經過近20年的大力發展,很多行業積累了很多珍貴的數據,真正的大數據時代到來了,也逐漸體現出 DB-ETL-DW-OLAP-DM-BI這條線路的重要性,希望大家能懂得這個大數據時代的價值,把握住機遇,有更加美好的未來!

二、大數據相關推薦文章

數據倉庫的價值:

http://webdataanalysis.net/web-data-warehouse/value-of-data-warehouse/

數據倉庫的基本構架:

http://webdataanalysis.net/web-data-warehouse/data-warehouse-frame/

數據倉庫的源數據類型:

http://webdataanalysis.net/web-data-warehouse/data-warehouse-source-data/

數據倉庫的多維數據模型:

http://webdataanalysis.net/web-data-warehouse/multidimensional-data-model/

數據立方體-維度與OLAP:

http://www.cnblogs.com/mq0036/p/4155832.html

DB、ETL、DW、OLAP、DM、BI關係結構圖:

http://www.cnblogs.com/ycdx2001/p/4538750.html

ODS與DW的關係

http://blog.csdn.net/hero_hegang/article/details/8691912

http://blog.sina.com.cn/s/blog_54c021fb01017v3k.html      //這篇文章很好。推薦。

數據倉庫之ETL漫談

http://blog.csdn.net/heqiyu34/article/details/8502198

Linux下JDK安裝

http://blog.csdn.net/ubuntu64fan/article/details/8289335

ETL的一些概念

http://qsx1982-126-com.iteye.com/blog/1135590

事實表和維度表的關係

http://blog.csdn.net/rogerxi/article/details/3966782

淺談ThreadPool線程池

http://www.cnblogs.com/xugang/archive/2010/04/20/1716042.html

http://www.cnblogs.com/xiaofengfeng/archive/2012/12/21/2828387.html

對MapReduce過程的理解

http://blog.csdn.net/yeruby/article/details/21406793

使用Storm實時大數據分析

http://blog.csdn.net/hguisu/article/details/8454368

Hive與HBase區別

http://www.cnblogs.com/quchunhui/p/5340989.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章