HBase知識點集中總結

  好程序員大數據培訓分享:HBase知識點集中總結,HBase – Hadoop Database,是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統,利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集羣。
  與FUJITSU Cliq等商用大數據產品不同,HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作爲其文件存儲系統,HBase利用Hadoop HDFS作爲其文件存儲系統;Google運行MapReduce來處理Bigtable中的海量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;Google Bigtable利用 Chubby作爲協同服務,HBase利用Zookeeper作爲對應。
一、hbase的特性
1、hbase數據的終持久化存儲是基於hsfs文件系統,存儲容量幾乎無限,可以隨時在線擴容。
2、hbase的數據增刪改查功能模塊是分佈式系統。
3、nosql數據庫,表結構。
二、HBase的存儲
HBase中的所有數據文件都存儲在Hadoop HDFS文件系統上。

  1. HFile, HBase中KeyValue數據的存儲格式,HFile是Hadoop的二進制格式文件,實際上StoreFile就是對HFile做了輕量級包裝,即StoreFile底層就是HFile。
  2. HLog File,HBase中WAL(Write Ahead Log) 的存儲格式,物理上是Hadoop的Sequence File。
    三、HBase工作機制

hbase工作機制詳細解析:
1、hbase的整體工作機制是接受客戶端發來的請求命令,從hdfs中讀取表文件信息返回給客戶端;
2、每個hbase服務器負責表文件中對應region區域,hdfs上表文件的存儲也是分爲每個region單獨存儲,每個region中又分爲多個列族存儲;
3、hbase集羣中有兩種角色,regionserver和master,regionserver負責響應客戶端請求,讀取表文件;
master負責監控regionserver的狀態,以便及時處理掉線的regionserver,保證hbase集羣正常運行;當一個region掛掉時,master會及時監控到,這裏利用了zookeeper管理regionserver狀態信息。
  當一個master掛掉時,不會影響客戶端查數據,但如果此時regionserver掛掉,master又不能及時監控到,便會影響數據查詢;解決方法就是再設置一臺master,一臺active狀態,一臺standby狀態用作備用,當active的master掛掉,standby的master將會變爲active狀態,監控regionserver。
4、master和zookeeper就組成了高可用。
大數據開發之路不易,大家且行且珍惜。好程序員精心打造大數據學習路線,爲大家的學習保駕護航。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章