原创 Hadoop RPC概述
Hadoop作爲一個存儲與服務的基礎性平臺，它的內部又採用了master/slave架構，那麼其內部通信和與客戶端的交互就是必不可少了。Hadoop在實現時拋棄了JDK自帶的一個RPC實現——RMI，而自己基於IPC模型實現了一個高效的輕
2020-02-23 05:20:55
原创 HBase 官方文檔中文版
原文出自：http://abloz.com/hbase/book.html Apache HBase™ 參考指南 HBase 官方文檔中文版 Copyright © 2012 Apache Software Fou
2018-08-25 02:03:16
原创 HBase Clinet API Guide
本文分爲三個部分： 首先描述hbase建表，讀寫數據的過程； 然後詳細介紹一下這些過程中所使用的API，並給出實例； 最後給出一些在使用HBase客戶端時的一些注意事項和建議。 關於HBase的詳細API，請參考官方文檔http:
2018-08-25 02:03:03
原创 Hadoop源代碼學習（完整版）
源地址：http://caibinbupt.iteye.com/blog/280790 注：再對照Hadoop源代碼的學習過程中，我對這個文檔也做了一些修改，用藍色字體標註。 Hadoop源代碼學習（完整版） Hadoop源代碼分析
2018-08-25 02:03:03
原创 hbase MapReduce程序樣例入門
1、先看一個標準的hbase作爲數據讀取源和輸出源的樣例： View Code JAVA 1 2 3 4 5 6 7 8 Configuration conf = HBaseConfiguration.c
2018-08-25 02:02:59
原创 Storm常見模式------TimeCacheMap
Storm常見模式------TimeCacheMap Storm中使用一種叫做TimeCacheMap的數據結構，用於在內存中保存近期活躍的對象，它的實現非常地高效，而且可以自動刪除過期不再活躍的對象。 TimeCacheM
2018-08-22 03:07:08
1
原创 一次JobTracker擁堵問題排查過程
Hadoop版本 1.0.3 問題描述: 隨着每日MR作業數目漸增，用戶反映提交作業時經常阻塞，也就是JobTracker發生了擁堵。這種情況開始頻繁出現，我們調大JobTracker端的RPC Handler線程個數，並定時對
2018-08-22 03:07:05
原创 HBase連接池 -- HTablePool被Deprecated以及可能原因是什麼
說明： 最近兩天在調研HBase的連接池，有了一些收穫，特此記錄下來。 本文先將官方文檔（http://hbase.apache.org/book.html）9.3.1.1節翻譯，方便大家閱讀，然後查閱了關鍵類HConnection
2018-08-22 03:07:05
2
原创 多線程開發之Object.wait() notify() notifyall()
參考文獻： object.wait()和object.notify()和object.notifyall() http://www.cnblogs.com/xwdreamer/archive/2012/05/12/2496843.h
2018-08-22 03:07:05
原创 HBase中MVCC的實現機制及應用情況
本文轉載自:http://www.cnblogs.com/panfeng412/p/mvcc-implementation-mechanism-in-hbase.html MVCC（Multi-Version Concurrent
2018-08-22 03:07:05
3
原创 HBase內存結構之跳錶數據結構淺析
最近學習HBase源碼時發現HRegion在sotre管理上用到了跳錶數據結構ConcurrentSkipListMap: ConcurrentSkipListMap有幾個ConcurrentHashMap不能比擬優點： 1、
2018-08-22 03:07:04
3
原创 Hadoop0.21內存泄漏問題：數據塊映射管理的一個bug
我們的HDFS生產環境是Hadoop-0.21,機器規模200臺，block在7KW左右. 集羣每運行幾個月，NameNode就會頻繁FGC,最後不得不restart NameNode. 因此懷疑NameNode存在內存泄漏問題，我們d
2018-08-22 03:07:03
原创 我讀過最好的Epoll模型講解
首先我們來定義流的概念，一個流可以是文件，socket，pipe等等可以進行I/O操作的內核對象。 不管是文件，還是套接字，還是管道，我們都可以把他們看作流。 之後我們來討論I/O的操作，通過read，我們可
2018-08-22 03:07:03
原创 Zero Copy 簡介
最近在看Kafka的設計原理，kafka在數據傳輸時採用了zero copy技術: 使用Zero copy方式在內核層直接將文件內容傳送給網絡Socket，避免應用層數據拷貝，減小IO開銷。 關於Zero copy，更多請點擊Effici
2018-08-22 03:07:03