用戶行爲數據倉庫第 1 節數倉分層概念

原創

2020-06-16 14:54

上篇：用戶行爲數據採集第9節總結

1、爲什麼要分層

架構圖

2、數倉分層

架構圖

3、數據集市與數據倉庫概念

數據集市與數據倉庫的區別

4、數倉命名規範

ODS層命名爲ods
DWD層命名爲dwd
DWS層命名爲dws
ADS層命名爲ads
臨時表數據庫命名爲xxx_tmp
備份數據數據庫命名爲xxx_bak

發表評論

所有評論

還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.

相關文章

系統業務數據倉庫

第1章電商業務與數據結構簡介 1.1 電商業務流程 1.2 電商常識（SKU、SPU） SKU=Stock Keeping Unit（庫存量基本單位）。現在已經被引申爲產品統一編號的簡稱，每種產品均對應有唯一的SKU號。 SPU

2020-06-26 03:59:35

OLAP（聯機分析處理）和OLTP （聯機事務處理）的區別

當今的數據處理大致可以分成兩大類：聯機事務處理OLTP（on-line transaction processing）、聯機分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統的關係型數據

2020-06-26 03:59:35

用戶行爲數據採集第2節基準測試

上篇：用戶行爲數據採集第1節日誌生成代碼編寫 1、Hadoop安裝詳見：hadoop集羣搭建（完全分佈式詳細版） 1）集羣規劃：服務器flink105 服務器flink106 服務器flink107 HDFS Nam

2020-06-16 14:54:52

用戶行爲數據採集第9節總結

上篇：用戶行爲數據採集第8節項目經驗之Flume內存優化 1、數倉概念總結數據倉庫的輸入數據源和輸出系統分別是什麼？輸入系統：埋點產生的用戶行爲數據、JavaEE後臺產生的業務數據。輸出系統：報表系統、用戶畫像系統、推

2020-06-16 14:54:52

用戶行爲數據採集第6節數倉採集Kafka Manager安裝腳本測試

上篇：用戶行爲數據採集第5節日誌採集分析、ETL攔截器、分類型攔截器及腳本編寫 1、Kafka安裝架構圖 Kafka集羣安裝詳見：參照自己上次寫的博客： Kafka集羣部署集羣規劃：服務器hadoop1.x

2020-06-16 14:54:51

用戶行爲數據採集第4 節完全分佈式的 zk、 xcall、dt、lg腳本編寫

上篇：用戶行爲數據採集第 3 節項目經驗之Hadoop參數調優 1、Zookeeper安裝詳見參照：zookeeper分佈式安裝部署集羣規劃服務器flink105 服務器flink106 服務器flink107 Zoo

2020-06-16 14:54:51

用戶行爲數據採集第 3 節項目經驗之Hadoop參數調優

上篇：用戶行爲數據採集第2節基準測試 1、 HDFS參數調優hdfs-site.xml （1）dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集羣規模爲8臺時，此參數設

2020-06-16 14:54:51

用戶行爲數據採集第1節日誌生成代碼編寫

1、創建Maven工程創建log-collector 工程創建ok，如圖所示： log-collector模塊代碼編寫在pom.xml文件中添加如下內容  <properties

2020-06-16 14:54:51

用戶行爲數據採集第5節日誌採集分析、ETL攔截器、分類型攔截器及腳本編寫

上篇：用戶行爲數據採集第4 節完全分佈式的 zk、 xcall、dt、lg腳本編寫 1、Flume採集安裝Flume 上傳Flume壓縮包 [root@hadoop1 hadoop]# ll total 54408 -r

2020-06-16 14:54:51

用戶行爲數據採集第8節項目經驗之Flume內存優化

2020-04-19 06:12:08

用戶行爲數據採集第7 節 Kafka壓力測試、消費數據flume

2020-04-19 06:12:08

用戶行爲數據倉庫第 4 節 DWD層數據解析腳本

2020-04-19 06:12:08

用戶行爲數據倉庫第 2 節數倉搭建環境及ODS層加載數據腳本

2020-04-19 06:12:08

用戶行爲數據倉庫第 3 節數倉搭建之DWD層

2020-04-19 06:12:08

用戶行爲數據倉庫第 5 節業務知識準備

2020-04-19 06:12:08

24小時熱門文章

最新文章

最新評論文章