原创 Flink 基於時間窗口的自定義CountTrigger

 原理:結合Flink源碼中的CountTrigger和EventTimeTrigger邏輯即可。 package net.ben.flink.hbase.function.trigger; import org.apache.fli

原创 [讀書筆記] KafkaConsumer工作原理

Kafka消費者不是線程安全的。 Kafka消費者通過訂閱主題(Topic)拉取消息。每個消費者對應一個消費組,消息發佈到主題後,只會投遞給訂閱它的每個消費組中的一個消費者。 一個主題有多個分區(parition),每一個分區只能被一個消

原创 [讀書筆記] KafkaProducer 工作原理/流程

Kafka生產者端的發送消息由兩個線程協調完成,主線程和Sender線程。 主線程主要負責創建消息,通過攔截器、序列化器和分區器處理後緩存到消息累加器(RecordAccumulator); 消息累加器爲每一個分區維護着一個雙端隊列(De

原创 HBase源碼分析之寫入流程(一)- 客戶端

注:本博客的HBase源碼基於1.0.2發佈版本。HBase的寫分兩部分,第一部分是客戶端寫,二是服務端的寫。先看看客戶端寫流程:(一)客戶端先檢驗用戶提交的Put請求的KeyValue長度是否超出配置最大長度,然後計算KeyValue的