原创 HBase超詳細版本教學六
文章目錄Hbase---RegionSplitRegion分裂策略Region分裂過程Region分裂時機 Hbase—RegionSplit Region分裂策略 我們剛建立表的時候只有一個Region，隨着我們表中的數據
2020-07-01 13:33:03
5
原创 HBase求生之路-----HBase優化(一)
文章目錄HBase求生之路(優化篇)熱點問題預分區第一種：手動設定預分區第二種：16進制序列預分區第三種：文件設置預分區使用JAVA的API創建預分區表 HBase求生之路(優化篇) 熱點問題 什麼叫熱點問題，什麼叫預分區？什
2020-07-01 13:33:03
原创 HBase求生之路-----HBase優化(二)
文章目錄RowKey設計設計手段設計思想 RowKey設計 設計手段 1. 生成隨機數、hash、散列值 比如： 原本rowKey爲1001的，SHA1後變成：dd01903921ea24941c26a48f2cec24e0bb0
2020-07-01 13:32:52
原创 Kafka(分區策略以及生產者)
文章目錄Kafka生產者分區原則與ACK機制生產者之消息可靠性ISRACKACKS=1時，數據丟失案例刨析ACKS=-1時，數據重複案例Kafka故障處理細節Exactly Once語義冪等原理 Kafka生產者 生產者向Topi
2020-06-25 05:01:48
原创 數倉建模(一)----數據庫範式理論之三範式
文章目錄範式理論何爲範式，何爲建模函數依賴1. 完全函數依賴2. 部分函數依賴3. 傳遞函數依賴第一範式第二範式第三範式 範式理論 何爲範式，何爲建模 範式理論和誰有關？和關係建模有關，通常我們說的三範式是啥東西，啥叫範式。 所謂
2020-06-25 05:01:48
1
原创 Kafka(架構深入理論)
文章目錄Kafka工作流程Kafka文件存儲機制Kafka消費模式分區分配策略第一種：roundrobin策略。第二種：range策略關於Kafka的OffsetKafka高速讀寫數據 Kafka工作流程 下圖左邊是一個生產者，右
2020-06-25 05:01:48
原创 HBase超詳細版本教學三
文章目錄HBase進階RegionServer簡易版本架構RegionServer詳細版本架構三里屯的回憶 HBase進階 RegionServer簡易版本架構 在我們的Hbase中，一個Region的概念，我們HBase中的每
2020-06-25 05:01:48
原创 HBase超詳細版本教學一
文章目錄HBase基礎什麼時候用HBaseHBase定義HBase數據模型HBase簡單邏輯結構HBase簡單物理結構 HBase基礎 什麼是HBase 它第一句就告訴我們了是Hadoop的Database，跟Hadoop有關
2020-06-25 05:01:48
原创 Kafka(基礎篇)
文章目錄消息隊列的兩種模式定義Kafka 橫向擴展與縱向擴展思考題Kafka的搭建細節技巧關於環境變量 消息隊列的兩種模式 點對點模式： (一對一，消費者主動拉取數據，消息收到後消息清除) 相當於一個生產者對應一個消息隊列，一個
2020-06-25 05:01:48
原创 HBase超詳細版本教學二
文章目錄HBase部署HBase安裝部署HBaseHA部署 HBase部署 HBase安裝部署 Zookeeper正常部署首先保證Zookeeper集羣的正常部署，並啓動： 注意，三臺都要啓動，因爲是集羣。 Hadoop集羣的
2020-06-25 05:01:48
2
原创 Kafka(命令篇)
文章目錄啓動命令停止命令Kafka內部腳本Kafka內部腳本的使用查看Topic查看Topic描述啓動生產者：啓動消費者：消費以往數據 啓動命令 bin/kafka-server-start.sh [-daemon] confi
2020-06-25 05:01:48
原创 HBase超詳細版本教學四
文章目錄HBase讀寫流程底層原理寫流程MemStore Flush HBase讀寫流程底層原理 上一篇我們已經熟悉了RegionServer所有的組件了，我們今天瞭解一下HBase的寫流程，我們需要將之前的組件串聯起來 寫流程
2020-06-25 05:01:48
原创 HBase超詳細版本教學五
文章目錄HBase讀寫流程底層原理讀流程1讀流程2StoreFile Compaction HBase讀寫流程底層原理 讀流程1 我們還是以三個RegionServer爲例，一個客戶端，一個zk。 我們讀的時候肯定是要發get
2020-06-25 05:01:48
原创 CentOS7，如何卸載JDK
CentOS7，如何卸載JDK 查看已安裝的jdk 命令：rpm -qa|grep jdk 卸載 命令：sudo yum -y remove 後面跟JDK路徑，一個一個卸載 測試，顯示沒有版本號，爲成功 命令：java -v
2020-06-20 10:21:49
原创 Hadoop---源碼編譯---精良帖
Hadoop源碼編譯—精良帖 爲什麼要編譯Hadoop 有些壓縮的軟件需要集成到hadoop框架上 集成完之後在編譯一下 比如：以前hadoop2.7.2沒有snappy這個壓縮軟件的，需要自己把snappy加進去編譯完，纔可以用
2020-06-20 10:21:49