Hbase快速單機部署和僞分佈式部署，完全分佈式部署

參考：http://hbase.apache.org/book.html#getting_started

hbase下載地址：http://mirror.bit.edu.cn/apache/hbase/stable/

文件解壓到 /usr/tools/hbase 下。

解壓文件：tar -zxvf hbase1.2xxxx.tar.gz

mv hbase.1.2.xxxx hbase

1，單機模式配置

編輯hbase/conf目錄下 hbase.env.sh 設置java環境

# The java implementation to use. Java 1.7+ required.
export JAVA_HOME=/usr/java/jdk1.7.0_79/

編輯hbase-site.xml hbase保存數據的目錄，目錄可以不存在會自動創建

  <property>
    <name>hbase.rootdir</name>
    <value>/home/hbase</value>
  </property>

然後啓動 hbase

[root@master bin]# ./start-hbase.sh 
starting master, logging to /usr/tools/hbase/bin/../logs/hbase-root-master-master.out

驗證是否啓動成功，使用jps查看下是否有hbase進程

[root@master bin]# jps
3190 Jps
2873 HMaster

2，僞分佈式模式配置

首先hadoop的已安裝，並且確定hdfs也已經啓動，ssh之間必須打通無密碼可以登錄

hbase-env.sh配置環境 jdk，zookeeeper

# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/usr/java/jdk1.7.0_79/

# Tell HBase whether it should manage it'sown instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

一個分佈式運行的Hbase依賴一個zookeeper集羣。所有的節點和客戶端都必須能夠訪問zookeeper。默認的情況下Hbase會管理一個zookeep集羣。這個集羣會隨着Hbase的啓動而啓動。當然，你也可以自己管理一個zookeeper集羣，但需要配置Hbase。你需要修改conf/hbase-env.sh裏面的HBASE_MANAGES_ZK 來切換。這個值默認是true的，作用是讓Hbase啓動的時候同時也啓動zookeeper.

讓Hbase使用一個現有的不被Hbase託管的Zookeep集羣，需要設置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 屬性爲 false

<configuration>  
  
    <property>  
  
    <name>hbase.rootdir</name>  
  
    <value>hdfs://node1:49002/hbase</value>  
  
    <description>The directory shared byRegionServers.  
  
    </description>  
  
  </property>  
  
  <property>  
  
    <name>hbase.cluster.distributed</name>  
  
    <value>true</value>  
  
    <description>The mode the clusterwill be in. Possible values are  
  
      false: standalone and pseudo-distributedsetups with managed Zookeeper  
  
      true: fully-distributed with unmanagedZookeeper Quorum (see hbase-env.sh)  
  
    </description>  
  
  </property>  
  
   
  
    <property>  
  
      <name>hbase.zookeeper.property.clientPort</name>  
  
      <value>2222</value>  
  
      <description>Property fromZooKeeper's config zoo.cfg.  
  
      The port at which the clients willconnect.  
  
      </description>  
  
    </property>  
  
    <property>  
  
      <name>hbase.zookeeper.quorum</name>  
  
      <value>node1,node2,node3</value>  
  
      <description>Comma separated listof servers in the ZooKeeper Quorum.  
  
      For example,"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".  
  
      By default this is set to localhost forlocal and pseudo-distributed modes  
  
      of operation. For a fully-distributedsetup, this should be set to a full  
  
      list of ZooKeeper quorum servers. IfHBASE_MANAGES_ZK is set in hbase-env.sh  
  
      this is the list of servers which we willstart/stop ZooKeeper on.  
  
      </description>  
  
    </property>  
  
    <property>  
  
      <name>hbase.zookeeper.property.dataDir</name>  
  
      <value>/home/hadoop/zookeeper</value>  
  
      <description>Property fromZooKeeper's config zoo.cfg.  
  
      The directory where the snapshot isstored.  
  
      </description>  
  
    </property>  
  
  </configuration>

要想運行完全分佈式模式，加一個屬性 hbase.cluster.distributed 設置爲 true 然後把 hbase.rootdir 設置爲HDFS的NameNode的位置。例如，你的namenode運行在node1，端口是49002 你期望的目錄是 /hbase,使用如下的配置：hdfs://node1:49002/hbase

hbase.rootdir：這個目錄是region server的共享目錄，用來持久化Hbase。URL需要是'完全正確'的，還要包含文件系統的scheme。例如，要表示hdfs中的'/hbase'目錄，namenode 運行在node1的49002端口。則需要設置爲hdfs://node1:49002/hbase。默認情況下Hbase是寫到/tmp的。不改這個配置，數據會在重啓的時候丟失。默認: file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributed ：Hbase的運行模式。false是單機模式，true是分佈式模式。若爲false,Hbase和Zookeeper會運行在同一個JVM裏面。

默認: false

在hbase-site.xml配置zookeeper：

當Hbase管理zookeeper的時候，你可以通過修改zoo.cfg來配置zookeeper，

一個更加簡單的方法是在 conf/hbase-site.xml裏面修改zookeeper的配置。Zookeeer的配置是作爲property寫在 hbase-site.xml裏面的。

對於zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具體的字段是 hbase.zookeeper.quorum. 該這個字段的默認值是 localhost，這個值對於分佈式應用顯然是不可以的. (遠程連接無法使用)。

hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置。客戶端連接的端口。

hbase.zookeeper.quorum：Zookeeper集羣的地址列表，用逗號分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默認是localhost,是給僞分佈式用的。要修改才能在完全分佈式的情況下使用。如果在hbase-env.sh設置了HBASE_MANAGES_ZK，這些ZooKeeper節點就會和Hbase一起啓動。

默認: localhost

運行一個zookeeper也是可以的，但是在生產環境中，你最好部署3，5，7個節點。部署的越多，可靠性就越高，當然只能部署奇數個，偶數個是不可以的。你需要給每個zookeeper 1G左右的內存，如果可能的話，最好有獨立的磁盤。 (獨立磁盤可以確保zookeeper是高性能的。).如果你的集羣負載很重，不要把Zookeeper和RegionServer運行在同一臺機器上面。就像DataNodes 和 TaskTrackers一樣

hbase.zookeeper.property.dataDir：ZooKeeper的zoo.conf中的配置。快照的存儲位置

把ZooKeeper保存數據的目錄地址改掉。默認值是 /tmp ，這裏在重啓的時候會被操作系統刪掉，可以把它修改到 /home/hadoop/zookeeper (這個路徑hadoop用戶擁有操作權限)

對於獨立的Zookeeper，要指明Zookeeper的host和端口。可以在 hbase-site.xml中設置, 也可以在Hbase的CLASSPATH下面加一個zoo.cfg配置文件。 HBase 會優先加載 zoo.cfg 裏面的配置，把hbase-site.xml裏面的覆蓋掉.

參見 http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations可以查找hbase.zookeeper.property 前綴，找到關於zookeeper的配置。

配置hbase/conf/regionservers

node1

node2

然後複製hbase文件到node1，node2機器上

這裏直接用scp /usr/tools/hbase/ root@node1:/usr/tools

三臺機器上都要替換hbase/lib/hadoop-*.jar

先刪除hbase/lib下的jar rm -rf hadoop-*.jar

在複製hadoop的下的hadoop*.jar到hbase下。

find /usr/tools/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/tools/hbase/lib/

啓動master的hadoop集羣

再啓動 master的hbase即可。此時整個hbase集羣應該啓動

master機器:

[root@master bin]# jps
9015 Jps
7803 HMaster
8649 Main
7736 HQuorumPeer
6167 NodeManager
6066 ResourceManager
5911 SecondaryNameNode
7370 NameNode

node1 機器進程

[root@node1 conf]# jps
6082 NodeManager
6346 HQuorumPeer
5832 SecondaryNameNode
6427 HRegionServer
5670 DataNode
7459 Jps
6760 HMaster

node2機器進程

[root@node2 bin]# jps
5796 HQuorumPeer
5148 DataNode
5882 HRegionServer
6760 Jps
5562 NodeManager
5308 SecondaryNameNode

HBase的完全分佈集羣

1.hbase的機羣搭建過程(在原來的master上的hbase僞分佈基礎上進行搭建)

1.1 集羣結構，主節點(master)是master，從節點(region server)是node1和node2

1.2 修改master上的hbase的幾個文件

(1)修改hbase-env.sh的最後一行export HBASE_MANAGES_ZK=false

(2)修改hbase-site.xml文件的hbase.zookeeper.quorum的值爲master,node1,node2

(3)修改regionservers文件(存放的region server的hostname)，內容修改爲node1、node2

1.3 複製master中的hbase文件夾到node1、node2中

1.4 啓動集羣

首先啓動hadoop（在master上start-all.sh），

然後啓動zookeeper集羣（分別在三臺機器上zkServer.sh start;可以使用zkServer.sh status查看zk的狀態）。

最後在master上啓動hbase集羣（start-hbase.sh）。

上面啓動成功可以看到hdfs文件系統中會創建hbase的目錄路徑，也即是hbase-site.xml配置的hbase.rootdir 值

可以打開hdfs的文件系統web控制檯查看

http://master:50070/explorer.html#/hbase/data

使用shell命令連接hbase，做些簡單操作

[root@master bin]# ./hbase shell
2017-05-19 04:13:04,512 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.5, rd7b05f79dee10e0ada614765bb354b93d615a157, Wed Mar  1 00:34:48 CST 2017


hbase(main):001:0>

創建一個名爲 table_test 的表，這個表只有一個column family(列簇) 爲 cf1。可以列出所有的表來檢查創建情況，然後插入些值。注意表名，行和列需要加引號

hbase(main):003:0> create 'table_test','cf1';
hbase(main):004:0* list
0 row(s) in 1.4690 seconds


TABLE                                                                                                                                                         
table_test                                                                                                                                                    
1 row(s) in 0.0370 seconds

插入幾條數據

第一個行key爲row1, 列爲 cf1:a，值是 value1。Hbase中的列是由 column family前綴和列的名字組成的，以冒號間隔

hbase(main):007:0> put 'table_test','rowkey1','cf1:a','avalue'
0 row(s) in 0.1220 seconds
hbase(main):010:0> put 'table_test','rowkey2','cf1:b','bvalue'
0 row(s) in 0.0130 seconds
hbase(main):011:0> put 'table_test','rowkey3','cf1:c','cvalue'
0 row(s) in 0.0050 seconds

scan一下表內容

hbase(main):012:0> scan 'table_test'
ROW                                      COLUMN+CELL                                                                                                          
 rowkey1                                 column=cf1:a, timestamp=1495193147094, value=avalue                                                                  
 rowkey2                                 column=cf1:b, timestamp=1495193193619, value=bvalue                                                                  
 rowkey3                                 column=cf1:c, timestamp=1495193233490, value=cvalue                                                                  
3 row(s) in 0.0240 seconds

get一行內容

hbase(main):013:0> get 'table_test','rowkey1'
COLUMN                                   CELL                                                                                                                 
 cf1:a                                   timestamp=1495193147094, value=avalue                                                                                
1 row(s) in 0.0550 seconds

再創建一個多列簇的表四個列簇 userid，account，info，address

hbase(main):022:0> create 'user','userid','account','info','address'
0 row(s) in 2.4140 seconds

=> Hbase::Table - user

插入數據測試

hbase(main):022:0> create 'user','userid','account','info','address'

=> Hbase::Table - user

hbase(main):023:0> put 'user','zhangsan','userid:id','001'
hbase(main):024:0> put 'user','zhangsan','account:name','zhangsan'
hbase(main):025:0> put 'user','zhangsan','account:password','123456'
hbase(main):026:0> put 'user','zhangsan','account:idcard','42012319861234561230'
hbase(main):027:0> put 'user','zhangsan','info:age','29'
hbase(main):028:0> put 'user','zhangsan','info:sex','男'
hbase(main):002:0> put 'user','zhangsan','address:province','guangdong'
hbase(main):003:0> put 'user','zhangsan','address:city','shengzhen'

hbase(main):023:0> put 'user','lisi','userid:id','002'
hbase(main):024:0> put 'user','lisi','account:name','lisi'
hbase(main):025:0> put 'user','lisi','account:password','123451231236'
hbase(main):026:0> put 'user','lisi','account:idcard','42963319861234561230'
hbase(main):027:0> put 'user','lisi','info:age','21'
hbase(main):028:0> put 'user','lisi','info:sex','女'
hbase(main):002:0> put 'user','lisi','address:province','shanghai'

全表掃描下：

hbase(main):016:0> scan 'user'
ROW                                      COLUMN+CELL                                                                                                          
 lisi                                    column=account:idcard, timestamp=1495211309656, value=42963319861234561230                                           
 lisi                                    column=account:name, timestamp=1495211285800, value=lisi                                                             
 lisi                                    column=account:password, timestamp=1495211301427, value=123451231236                                                 
 lisi                                    column=address:province, timestamp=1495211384023, value=shanghai                                                     
 lisi                                    column=info:age, timestamp=1495211316099, value=21                                                                   
 lisi                                    column=info:sex, timestamp=1495211346138, value=\xE5\xA5\xB3                                                         
 lisi                                    column=userid:id, timestamp=1495211274783, value=002                                                                 
 zhangsan                                column=account:idcard, timestamp=1495210724532, value=42012319861234561230                                           
 zhangsan                                column=account:name, timestamp=1495210666721, value=zhangsan                                                         
 zhangsan                                column=account:password, timestamp=1495210687419, value=123456                                                       
 zhangsan                                column=address:city, timestamp=1495211133796, value=shengzhen                                                        
 zhangsan                                column=address:province, timestamp=1495211116014, value=guangdong                                                    
 zhangsan                                column=info:age, timestamp=1495210767561, value=29                                                                   
 zhangsan                                column=info:sex, timestamp=1495210795819, value=\xE7\x94\xB7                                                         
 zhangsan                                column=userid:id, timestamp=1495210638142, value=001                                                                 
2 row(s) in 0.1290 seconds

通過rowkey獲取數據

hbase(main):017:0> get 'user','zhangsan'
COLUMN                                   CELL                                                                                                                 
 account:idcard                          timestamp=1495210724532, value=42012319861234561230                                                                  
 account:name                            timestamp=1495210666721, value=zhangsan                                                                              
 account:password                        timestamp=1495210687419, value=123456                                                                                
 address:city                            timestamp=1495211133796, value=shengzhen                                                                             
 address:province                        timestamp=1495211116014, value=guangdong                                                                             
 info:age                                timestamp=1495210767561, value=29                                                                                    
 info:sex                                timestamp=1495210795819, value=\xE7\x94\xB7                                                                          
 userid:id                               timestamp=1495210638142, value=001                                                                                   
8 row(s) in 0.1170 seconds

通過rowkey ，column family(列簇)獲取數據

hbase(main):018:0> get 'user','zhangsan','address'
COLUMN                                   CELL                                                                                                                 
 address:city                            timestamp=1495211133796, value=shengzhen                                                                             
 address:province                        timestamp=1495211116014, value=guangdong                                                                             
2 row(s) in 0.0720 seconds

通過rowkey，column family，column獲取數據

hbase(main):019:0> get 'user','zhangsan','address:province'
COLUMN                                   CELL                                                                                                                 
 address:province                        timestamp=1495211116014, value=guangdong                                                                             
1 row(s) in 0.0250 seconds

更新記錄可以直接put

hbase(main):020:0> put 'user','zhangsan','info:age' ,'100'
0 row(s) in 0.0070 seconds

rowkey爲zhagnsan，列簇 info 中的列age 原來是29

get驗證一下已經變味100，

hbase(main):023:0> get 'user','zhangsan','info:age'
COLUMN                                   CELL                                                                                                                 
 info:age                                timestamp=1495211790160, value=100                                                                                   
1 row(s) in 0.0140 seconds

刪除表字段

hbase(main):032:0> delete 'user','zhangsan','address:city'
0 row(s) in 0.0100 seconds

驗證一下， address列簇中的city列已經刪除了
hbase(main):033:0> get 'user','zhangsan'
COLUMN                                   CELL                                                                                                                 
 account:idcard                          timestamp=1495210724532, value=42012319861234561230                                                                  
 account:name                            timestamp=1495210666721, value=zhangsan                                                                              
 account:password                        timestamp=1495210687419, value=123456                                                                                
 address:province                        timestamp=1495211116014, value=guangdong                                                                             
 info:age                                timestamp=1495211790160, value=100                                                                                   
 info:sex                                timestamp=1495210795819, value=\xE7\x94\xB7                                                                          
 userid:id                               timestamp=1495210638142, value=001                                                                                   
7 row(s) in 0.0310 seconds

刪除整行：也即是通過rowkey刪除

hbase(main):035:0> deleteall 'user','lisi'
0 row(s) in 0.0470 seconds

驗證一下，rowkey爲lisi 的全部刪除了
hbase(main):036:0> scan 'user'
ROW                                      COLUMN+CELL                                                                                                          
 zhangsan                                column=account:idcard, timestamp=1495210724532, value=42012319861234561230                                           
 zhangsan                                column=account:name, timestamp=1495210666721, value=zhangsan                                                         
 zhangsan                                column=account:password, timestamp=1495210687419, value=123456                                                       
 zhangsan                                column=address:province, timestamp=1495211116014, value=guangdong                                                    
 zhangsan                                column=info:age, timestamp=1495211790160, value=100                                                                  
 zhangsan                                column=info:sex, timestamp=1495210795819, value=\xE7\x94\xB7                                                         
 zhangsan                                column=userid:id, timestamp=1495210638142, value=001                                                                 
1 row(s) in 0.0360 seconds

統計行數結果只有一行，因爲數據庫就剩下rowkey爲張三了

hbase(main):037:0> count 'user'
1 row(s) in 0.1800 seconds

=> 1

清空表和mysql 數據庫命令類似

hbase(main):038:0> truncate 'user'

退出shell

hbase(main):014:0> exit
[root@master bin]#

停止hbase

[root@master bin]# ./stop-hbase.sh 
stopping hbase...................
[root@master bin]#

Hbase快速單機部署和僞分佈式部署，完全分佈式部署

HBase的完全分佈集羣

【SQL進階】CASE語句的使用

npm error Cannot read properties of null (reading 'isDescendantOf')

JAVA使用RC4解密C#的RC4密文問題

Hbase快速單機部署和僞分佈式部署，完全分佈式部署

mongodb的windows安裝與使用

linux 配置tftp服務

docker的安裝與使用安裝ssh服務

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結