原创 kafka日誌段中的二分查找
關於算法，我一直的想法是，我們平時太注重算法本身，或者是爲了面試學算法，卻忽略了它們在實際場景中的應用。 比如說，我們學習了太多的排序算法，但是，對於普通的應用開發人員來說，親自使用這些算法去設計編程任務的機會實在太少了。說起數組排序，第
2020-07-07 01:48:38
2
原创 kafka深入解讀
不經意間，看到某大佬的公衆號文章深有感觸，於是乎把大佬的專業術語搬上來，加上自己的大白話，做點總結。 Kakfa起初是由LinkedIn公司開發的一個分佈式的消息系統，後成爲Apache的一部分，它使用Scala編寫，以可水平擴展和高吞吐
2020-06-25 11:55:39
1
原创 Hive的基本概念1
Hive的基本概念 1. 什麼是Hive Hive：由Facebook開源用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張表，並提供類SQL查詢功能。 本質是：將H
2020-06-25 11:55:39
1
原创 kafka請求全流程（二）—— 請求的接收以及分發
承接上一篇(https://blog.csdn.net/fenglei0415/article/details/106162288) 二. 請求的接收以及分發 主要分析兩個類，實現網絡通信的關鍵部件。分別是Acceptor 類和Proce
2020-06-25 11:55:39
1
原创 kafka請求全流程（一）—— 客戶端請求
kafka的源碼路上一直都是個小學生，如有發現錯誤，請多指正，不勝感激。 總結了一張kafka網絡通信層架構，如圖： 整張圖大概劃分5部分，分別是： Clients 或其他 Broker 發送請求給 Acceptor 線程。 Proce
2020-06-25 11:55:39
1
原创 kafka請求隊列模塊
最近一直研究kafka源碼，想着有必要記錄一下。不管研究是否到位，也算是一個里程碑吧。 當我們說到 Kafka 服務器端，也就是 Broker 的時候，往往會說它承擔着消息持久化的功能，但本質上，它其實就是一個不斷接收外部請求、處理請求，
2020-06-25 11:55:39
原创 Hive常用命令2
2.1 數據導入 2.1.1 向表中裝載數據（Load） 語法： hive> load data [local] inpath '/opt/module/datas/order.txt' [overwrite] into tab
2020-06-25 11:55:39
原创 Hive日常調優3
3.1 Fetch抓取 Fetch抓取是指，Hive中對某些情況的查詢可以不必使用MapReduce計算。例如：SELECT * FROM orders;在這種情況下，Hive可以簡單地讀取employee對應的存儲目錄下的文件，
2020-06-25 11:55:39