原创 regionserver的重啓
datanode 宕機了. datanode通過 ssh ccc "/home/hadoop/bin/hadoop-daemon.sh start datanode" ssh ccc "/home/hadoop/bin/hadoop-d
原创 關於namenode安全模式
前兩天在啓動hadoop時,發現namenode啓動了之後,並沒有全部啓動datanode,而且tasktracker也沒被啓動,看到輸出: org.apache.hadoop.dfs.SafeModeException: 。。
原创 hbase中filter查詢例子
http://blog.csdn.net/karen_wang/archive/2011/03/28/6284154.aspx 1、需要的jar包: commons-codec-1.4.jar commons-logging-1
原创 如何避免regionServer宕機
爲什麼regionserver 和Zookeeper的session expired? 可能的原因有 1. 網絡不好。 2. Java full GC, 這會block所有的線程。如果時間比較長,也會導致session expire
原创 查看進程與線程
ps -eLF | grep vss_vod_server 查看一個進程對應的線程號 pstree -c | grep vss_vod_server查看進程線程樹 ps -ef | grep vss_vod_server查看進程
原创 java包的運行方式
1. java -cp abc.jar mytest 簡單運行 2. jar tf abc.jar查看包的內容 3. java -classpath./hbase/hbase-0.94.3.jar
原创 最爲關心的問題,hbase查詢一條數據的過程.
HBase中的Client如何路由到正確的RegionServer 我們來仔細分析一下這個結構,每條Row記錄了一個Region的信息。 首先是RowKey,RowKey由三部分組成:TableName, StartKey 和 T
原创 HMaster自動退出源於regionServer宕機
一大早起來關注我的小集羣,發現HBase不好使了,弄得毫無頭緒——只好重新查看守護進程jps 後 返現傳說中的HMaster居然。。。不見了! ————查看日誌!果然: 2012-12-17 22:51:13,317 INFO or
原创 兩臺linux機器時間同步
Linux自帶了ntp服務 -- /etc/init.d/ntpd,這個服務不僅可以設置讓本機和某臺/某些機器做時間同步,他本身還可以扮演一個time server的角色,讓其他機器和他同步時間。 配置文件就是/etc/ntp.co
原创 Java GC(垃圾回收)
1.java中GC 即垃圾收集機制是指jvm用於釋放那些不再使用的對象所佔用的內存。java語言並不要求jvm有gc,也沒有規定gc如何工作。不過常用的jvm都有gc,而且大多數gc都使用類似的算法管理內存和執行收集操作。
原创 HBase 系統架構
HBase 系統架構 HBase是Apache Hadoop的數據庫,能夠對大型數據提供隨機、實時的讀寫訪問。HBase的目標是存儲並處理大型的數據。HBase是一個開源的,分佈式的,多版本的,面向列的存儲模型。它存儲的是鬆散型數據。
原创 HBase簡介(很好的梳理資料)
一、 簡介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype cr
原创 淺談MYSQL的全文檢索的應用
- 適百千萬數據量以上的站內搜索,平民級的解決方案 環境:LINUX MYSQL4/5(5以上的版本直接可以在插件形式編譯進MYSQL內) 使用MYSQL的朋友一定有這樣的經歷,那就是在檢索中文的時候往往力不從心。使用LIK
原创 Zookeeper的原理介紹
第一章 Zookeeper server 1.1 Zookeeper基本原理 1.1.1 Zookeeper的保證 l 順序性,client的updates請求都會根據它發出的順序被順序的處理; l
原创 linux 下查看進程的完整路徑
當我們查看系統正在運行的進程時,有時候我們想查看以下進程的詳細信息,包括絕對路徑,這個時候ps的不足指出就顯露出來了,而強大的top也只能查看到進程名而已。 這個時候怎麼辦呢?個人理解,在linux啓動一個進程時,會給進程分配一個