原创 BookKeeper源碼解析之網絡服務（二）
BookKeeper的網絡服務基於Netty實現，其主要的內容就是構造NettyServer。 構造NettyServer 構造NettyServer之前，初始化eventLoopGroup和監聽端口，然後就是Netty的標準Se
2020-06-21 11:33:56
原创 BookKeeper源碼解析之Bookie啓動流程（一）
BookKeeper（BK）啓動流程 文章目錄BookKeeper（BK）啓動流程解析命令行參數構建bookie所需的服務構建狀態（指標）服務構建BookieService構造內存分配器構造NettyServer構建Bookie
2020-06-21 10:54:00
8
原创 Pulsar 簡介
Pulsar概述 Pulsar 是一個多租戶，服務器到服務器消息的高性能解決方案。由Yahoo開發，現在由apache基金會管理。 Pulsar的關鍵特性如下： Pulsar實例原生支持多集羣，能夠無縫的基於地理位置 進行跨集羣
2020-06-21 10:53:49
1
原创 BookKeeper源碼解析之磁盤使用監控（三）
磁盤管理 磁盤管理是管理ledger目錄以及index目錄的磁盤使用情況。BookKeeper 中有一個週期性任務來執行目錄檢測，這個任務在LedgerDirsMonitor中，這裏會通過 LedgerDirsManager 檢測
2020-02-20 14:57:46
原创 [Pulsar-源碼] Pulsar client初始化
文章目錄Pulsar client初始化過程Producer 初始化 Pulsar client初始化過程 初始化Pulsar Producer和Consumer都需要先初始化Pulsar client。示例： PulsarCli
2020-02-20 14:57:45
2
原创 BookKeeper淺析
序言，關於cap CAP是分佈式系統中的一個特別重要的理論。 CAP原則又稱CAP定理，指的是在一個分佈式系統中， Consistency（一致性）、 Availability（可用性）、Partition tolerance（
2020-02-20 14:57:45
8
原创 Pulsar命令行工具
stanalone 啓動 bin/pulsar standalone ： 當前terminal運行，terminal關閉，服務關閉 pulsar-daemon start/stop standalone ： 後臺運行的s
2020-02-20 14:57:45
16
原创 Hive安裝
Hive 安裝 # 準備 解壓安裝Apache-hive壓縮包，並設置環境變量 export HIVE_HOME=/apps/apache-hive-2.3.5-bin export PATH=$PATH:$HIVE_HOME/b
2019-10-25 13:24:40
原创 Spark RDD 源碼分析
概述 概述：RDD是分佈式數據集，代表了不可變、分區的元素集合，這些元素可以並行操作。 RDD有五個主要屬性： * -partition列表，和hadoop類似， 可切分的數據才能並行計算 * -計算每個split的functi
2018-08-24 00:38:19
原创 Avro簡介
概述 Apache Avro是一個獨立於編程語言的數據序列化系統，獨立於語言也就意味着可以被多種語言處理。Avro起源於Hadoop，目的是解決Hadoop Writable類型的不足:缺乏語言的可移植性。 Avro是基於schema（
2018-08-24 00:38:18
原创 時間/空間複雜度淺析
漸進分析 可以通過精確的計算其執行的語句或者引用的對象的數量來估計數據結構的性能或者複雜度。但是現代計算機體系結構的執行速度會相差10倍甚至更多，因此詳細的計算不能爲我們提供更多關於一個特定實現的實際運行時間的信息，因此對於行爲進行如此詳
2018-08-24 00:38:18
原创 Spark-IDEA源碼閱讀環境搭建(Windows)
一、源碼下載和IDE安裝 下載Spark源碼和 Intellij IDEA並安裝 二、jdk和scala安裝 1. jdk 下載jdk並安裝完成後，環境變量配置省略，可以參考 http://blog.csdn.net/hylisncsb
2018-08-24 00:38:18
原创 Netty（3.x） 小節
起源 Netty和Mima是java中的兩個通訊框架，Mina早於Netty誕生，始於Apache基金會，Netty開始在Jboss名下，後來出來自立門戶netty.io。 事件驅動機制 說到Netty，就要說一下事件驅動機制。 當一個
2018-08-24 00:38:18
原创 樹
概述 樹可以有兩種定義方式，遞歸和非遞歸。 非遞歸定義 樹有結點集合和連接每對結點的有向邊結合 組成。 樹的遞歸定義 要麼樹爲空，要麼由根和零個或者多個非空子樹組成，每棵樹的根都被來自於根的邊連接。 樹的性質 一個特殊的結點作爲根，根節點
2018-08-24 00:38:12
原创 Java NIO 簡單總結
Java NIO 轉載 http://zachary-guo.iteye.com/blog/1457542 http://ifeve.com/ Java NIO(New IO)是一個可以替代標準Java IO API的IO API
2018-08-24 00:38:12