原创 kafka配置體系
文章目錄配置概覽動態配置命令broker配置topic配置客戶端配置 配置概覽 動態配置命令 少量配置可以在機器/程序運行期間進行動態修改，動態配置的內容存在ZK之中 add-config 添加一些配置 delete-conf
2019-03-16 10:44:46
1
原创 kafka可靠的數據傳遞
文章目錄基本保證broker可靠性生產者可靠性消費者可靠性 理論上無論什麼組件都會有數據丟失和重複；我們只能從 源頭和出口來解決數據的質量。 基本保證 broker可靠性 副本系數：replication.factor = 3
2019-03-16 10:44:45
5
原创 kafka元數據管理
文章目錄ZK結構樹admin節點brokers節點consumers節點config節點controller節點 ZK結構樹 kafka這個是zk上創建的一個節點；這個kafka節點下有admin brokers等子節點 admin
2019-03-16 10:44:45
原创 kafka集羣管理
文章目錄主題操作消費者羣組生產和消費代碼演示 主題操作 bin/kafka-topics.sh —zookeeper localhost:2181/kafka#(在server.properties裏配置的zk的路徑) # 創建主題
2019-03-16 10:44:44
1
原创 深入Kafka
文章目錄集羣成員關係控制器分區複製物理存儲基本概念刷盤文件滾動數據清除策略索引消息格式 集羣成員關係 控制器 控制器的作用： 除具有一般broker的功能之外，還負責分區首領的選舉 控制器的選舉： 各broker向ZK中/cont
2019-03-15 09:53:41
1
原创 Kafka生產者和消費者
文章目錄Kafka生產者：向broker寫數據生產者概覽創建生產者構造ProducerRecord發送消息到broker序列化器分區順序性和可靠性Kafka消費者基本概念消費過程創建消費者訂閱主題輪詢提交反序列化器 Kafka生產者：
2019-03-14 13:12:23
原创 Hadoop的shuffle
Shuffle描述的是數據從Map端到Reduce端的過程，大致分爲排序（sort）、溢寫（spill）、合併（merge）、拉取拷貝（Copy）、合併排序（merge sort）這幾個過程，大體流程如下： 上圖的Map的輸出的文件
2019-03-13 13:11:30
原创 spark學習 - spark編程模型(各種算子)
文章目錄Spark API文檔Value類型 Transformation 算子分類Transformation-mapTransformation-mapPartitionsTransformation-flatMapTransfo
2019-03-06 20:04:40
原创 Scala編程基礎
文章目錄Scala是一門怎樣的語言，具有哪些優點？Scala語法基礎-從Hello World說起Scala值和變量聲明Scala常用類型方法的定義和使用函數的定義和使用函數與方法區別Example - 方法計時器循環和高級for循環
2019-03-06 20:04:40
原创 Spark學習-shuffle和RDD
文章目錄Spark ShuffleSpark Shuffle 兩階段Shuffle 是個昂貴的操作Shuffle 實現進化歷史Shuffle 相關組件HashShuffleManager：SortShuffleSort Shuffle
2019-03-06 20:04:40
原创 spark學習 - 數據傾斜
文章目錄Examplespark數據傾斜現象數據傾斜原因發現數據傾斜數據傾斜 Solution 1 – 使用reduceByKey數據傾斜 Solution 2 – 兩階段聚合數據傾斜 Solution 3 – 擴增數據數據傾斜 So
2019-03-06 20:04:40
原创 5-2 用戶行爲分析
文章目錄Spark Shuffle 解析寬依賴和窄依賴回顧Stage引起shuffle的算子MapReduce Shuffle 回顧Spark Shuffle 兩階段Shuffle 是個昂貴的操作Shuffle 實現進化歷史Shuff
2019-03-03 16:54:02
原创 5-1 用戶行爲分析數據清洗與加工
文章目錄Spark簡介Spark簡介爲何會誕生Spark？Spark爲何快？Spark特點Spark多語言支持Scala編程基礎Scala是一門怎樣的語言，具有哪些優點？Scala語法基礎-從Hello World說起Scala值和變
2019-03-01 01:40:28
原创 3用戶行爲分析業務數據採集
文章目錄關於日誌收集關於服務器日誌日誌採集系統的一般架構日誌採集系統的設計要求Flume是什麼？版本Flume 工作原理解析安裝配置模板Flow類型-順序流Flow類型-多對一聚合Flow類型-一對多路由（分類發送到每個channel
2019-02-27 15:08:52
原创 1 用戶行爲分析
文章目錄常見問題項目背景你是誰？你從哪裏來你要到哪裏去？行爲數據價值行爲分析指標數據指標數據蒐集數據蒐集面臨的挑戰系統架構工作流程如何區分用戶和訪問數據採集數據存儲數據處理MapReduceSpark數據展現系統架構數據流Nginx配
2019-02-26 15:08:57
2