原创 regionserver的重啓

datanode 宕機了.  datanode通過 ssh ccc "/home/hadoop/bin/hadoop-daemon.sh start datanode" ssh ccc "/home/hadoop/bin/hadoop-d

原创 關於namenode安全模式

前兩天在啓動hadoop時,發現namenode啓動了之後,並沒有全部啓動datanode,而且tasktracker也沒被啓動,看到輸出: org.apache.hadoop.dfs.SafeModeException: 。。

原创 hbase中filter查詢例子

http://blog.csdn.net/karen_wang/archive/2011/03/28/6284154.aspx  1、需要的jar包: commons-codec-1.4.jar commons-logging-1

原创 如何避免regionServer宕機

爲什麼regionserver 和Zookeeper的session expired? 可能的原因有 1. 網絡不好。 2. Java full GC, 這會block所有的線程。如果時間比較長,也會導致session expire

原创 查看進程與線程

 ps -eLF | grep vss_vod_server 查看一個進程對應的線程號     pstree -c | grep vss_vod_server查看進程線程樹 ps -ef | grep vss_vod_server查看進程

原创 java包的運行方式

1.        java -cp abc.jar mytest 簡單運行 2.        jar tf abc.jar查看包的內容 3.        java -classpath./hbase/hbase-0.94.3.jar

原创 最爲關心的問題,hbase查詢一條數據的過程.

HBase中的Client如何路由到正確的RegionServer 我們來仔細分析一下這個結構,每條Row記錄了一個Region的信息。 首先是RowKey,RowKey由三部分組成:TableName, StartKey 和 T

原创 HMaster自動退出源於regionServer宕機

一大早起來關注我的小集羣,發現HBase不好使了,弄得毫無頭緒——只好重新查看守護進程jps 後 返現傳說中的HMaster居然。。。不見了! ————查看日誌!果然: 2012-12-17 22:51:13,317 INFO or

原创 兩臺linux機器時間同步

Linux自帶了ntp服務 -- /etc/init.d/ntpd,這個服務不僅可以設置讓本機和某臺/某些機器做時間同步,他本身還可以扮演一個time server的角色,讓其他機器和他同步時間。 配置文件就是/etc/ntp.co

原创 Java GC(垃圾回收)

1.java中GC     即垃圾收集機制是指jvm用於釋放那些不再使用的對象所佔用的內存。java語言並不要求jvm有gc,也沒有規定gc如何工作。不過常用的jvm都有gc,而且大多數gc都使用類似的算法管理內存和執行收集操作。   

原创 HBase 系統架構

HBase 系統架構 HBase是Apache Hadoop的數據庫,能夠對大型數據提供隨機、實時的讀寫訪問。HBase的目標是存儲並處理大型的數據。HBase是一個開源的,分佈式的,多版本的,面向列的存儲模型。它存儲的是鬆散型數據。

原创 HBase簡介(很好的梳理資料)

一、 簡介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype cr

原创 淺談MYSQL的全文檢索的應用

- 適百千萬數據量以上的站內搜索,平民級的解決方案   環境:LINUX MYSQL4/5(5以上的版本直接可以在插件形式編譯進MYSQL內)   使用MYSQL的朋友一定有這樣的經歷,那就是在檢索中文的時候往往力不從心。使用LIK

原创 Zookeeper的原理介紹

第一章 Zookeeper server 1.1  Zookeeper基本原理   1.1.1    Zookeeper的保證 l         順序性,client的updates請求都會根據它發出的順序被順序的處理; l

原创 linux 下查看進程的完整路徑

當我們查看系統正在運行的進程時,有時候我們想查看以下進程的詳細信息,包括絕對路徑,這個時候ps的不足指出就顯露出來了,而強大的top也只能查看到進程名而已。     這個時候怎麼辦呢?個人理解,在linux啓動一個進程時,會給進程分配一個