原创 Hadoop集羣安裝、擴容等操作
0 Hadoop集羣機器配置 公司正式集羣機子：內存32G存儲24T，另有1塊1T的本地盤 namenode和secondery namenode配Xeon E5-2640，24線程 其餘節點配Xeon E5-2609，8線程 安裝c
2020-06-27 16:00:45
原创 NoSQL數據庫介紹（2）
2 NoSQL潮流 在這一章中，將一起討論NoSQL潮流的動機和主要驅動力，以及NoSQL主張的批評和反饋。本章將通過不同的嘗試得出結論來分類和描述NoSQL數據庫。其中一個分類法將在隨後的章節中被提出。 2.1 動機和
2020-06-27 16:00:45
原创 Kafka源碼分析（3）
三 API Layer 1、KafkaApis 該類是各種API的封裝，通過傳入的requestId來決定調用何種API，最重要的handle()方法如下所示： def handle(request: RequestC
2020-06-27 16:00:45
原创 Kafka源碼分析（2）
二Network Layer 1、SocketServer 主要用來創建和銷燬Acceptor和Processor，主要的邏輯前面已經講過了。 2、Acceptor線程 在線程的run()方
2020-06-27 16:00:34
原创 Kafka源碼分析（1）
選擇Kafka0.8.2.2版本進行說明，0.8以後基本都是這個架構。因爲0.9以後版本的設計有比較大的變化，因此不適用於0.9以後版本代碼。 本文假設讀者對Kafka的基本概念已有了解。
2020-06-27 16:00:34
原创 NoSQL數據庫介紹（6）
6 面向列的數據庫 在本章中將研究第三類NoSQL數據存儲：面向列的數據庫。以列來替代行存儲和處理數據的方法起源於分析和商業智能，在一個無共享的大規模並行處理（注：MPP）架構中的列存儲可用於構建高性能應用。這一領域引人注目
2020-02-21 17:59:30
原创 幾種分佈式消息系統比較（old）
0 引言 隨着互聯網行業的發展和IT技術在行業內的廣泛應用，許多互聯網企業的服務器每天產生海量的日誌。如天翼閱讀平臺每天產生的PV日誌有上億條；淘寶網每天的用戶行爲日誌達數TB大小。如何高效地收集日誌，並根據不同的時延要
2020-02-21 17:59:29
原创 Impala安裝手冊
鄙人最近準備離職，所以把之前工作中積累的一些東西整理下發上來，其中一部分發在公司內刊上，一部分是組內交流文檔，標“原創”的都是本人原創，轉載請註明謝謝！ Impala這個東西在我們實踐應用中還是不錯的，查詢速度可以，就是
2020-02-21 17:59:28
原创 UITableView增加搜素框後搜不出來內容（old）
反覆檢查搜索部分代碼，確定不是搜索的問題。注意到亂輸一段文字（比如Aaa）時會顯示No Result，而輸入應該搜得出內容的關鍵字（比如Me）後顯示空白。由於我搜索結果的tableView用的cell是複用正常模式table
2020-02-21 17:59:28
原创 Kafka源碼分析（5）
五 LogSubsystem 1、Log Kafka通過Log文件將消息物化到磁盤中，Log只能在尾部追加而不能修改，它由一系列的LogSegments組成，每個LogSegment都有一個表示該段第一條消息位置的b
2020-02-21 17:59:28
原创 NoSQL數據庫介紹（3）
3 基本概念，技術和模式 本章概述了一些NoSQL數據存儲常見的基本概念、技術與模式，並不僅限於一類非關係型數據庫或一個單一的NoSQL存儲。衆多NoSQL數據存儲和個別產品的具體概念和技術將在隨後的章節中討論。 3.1
2020-02-21 17:59:28
原创 NoSQL數據庫介紹（1）
最近看了一些英文文檔，其中有一篇把分佈式系統和第一代NoSQL的大背景介紹得很清楚，雖然文檔本身是10年寫的，而且沒有介紹某種特定NoSQL數據庫的使用，但很多思想性的東西到今天看都非常有價值，於是決定翻譯一下，翻譯中的各種bug
2020-02-21 17:59:28
原创 Kafka源碼分析（6）
六 其他 1、Producer 首先來看org.apache.kafka.clients.producer中的KafkaProducer類實現，org.apache.kafka開頭的包全部是以java實現的，爲用戶提
2020-02-21 17:59:27
原创 函數式編程與Scala
1函數式編程 函數式編程（FunctionalProgramming，簡稱FP）是一種編程範式，我們常見的編程範式有命令式編程（常用的面向對象編程就是），函數式編程，邏輯式編程。 命令式編程、函數式編程的區別：
2020-02-21 17:59:27
原创 商業智能與大數據結合的一點感想（old）
0引言 商業智能的概念興起於上世紀90年代，經過近20年的發展，已經得到廣泛的認可和應用。越來越多的中大型企業建設了自己了商業智能系統以提升商業價值，甚至小微型企業也有考慮使用商業智能工具來輔助決策。
2020-02-21 17:59:27