第1章 Zookeeper入門
1.1 概述
Zookeeper是一個開源的分佈式的，爲分佈式應用提供協調服務的Apache項目。
1.2 特點
1.3 數據結構
1.4 應用場景
提供的服務包括：統一命名服務、統一配置管理、統一集羣管理、服務器節點動態上下線、軟負載均衡等。
1.5 下載地址
1．官網首頁：https://zookeeper.apache.org/
2．下載截圖，如圖5-5，5-6，5-7所示
圖5-5 Zookeeper下載（一）
圖5-6 Zookeeper下載（二）
圖5-7 Zookeeper下載（三）
第2章 Zookeeper安裝
2.1 本地模式安裝部署
1．安裝前準備
（1）安裝Jdk
（2）拷貝Zookeeper安裝包到Linux系統下
（3）解壓到指定目錄
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
2．配置修改
（1）將/opt/module/zookeeper-3.4.10/conf這個路徑下的zoo_sample.cfg修改爲zoo.cfg；
mv zoo_sample.cfg zoo.cfg
（2）打開zoo.cfg文件，修改dataDir路徑：
vim zoo.cfg
修改如下內容：
dataDir=/opt/module/zookeeper-3.4.10/zkData
（3）在/opt/module/zookeeper-3.4.10/這個目錄上創建zkData文件夾
mkdir zkData
3．操作Zookeeper
（1）啓動Zookeeper
bin/zkServer.sh start
（2）查看進程是否啓動
jps
4020 Jps
4001 QuorumPeerMain
（3）查看狀態：
bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: standalone
（4）啓動客戶端：
bin/zkCli.sh
（5）退出客戶端：
quit
（6）停止Zookeeper
bin/zkServer.sh stop
2.2 配置參數解讀
Zookeeper中的配置文件zoo.cfg中參數含義解讀如下：
1．tickTime =2000：通信心跳數，Zookeeper服務器與客戶端心跳時間，單位毫秒
Zookeeper使用的基本時間，服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每個tickTime時間就會發送一個心跳，時間單位爲毫秒。
它用於心跳機制，並且設置最小的session超時時間爲兩倍心跳時間。(session的最小超時時間是2*tickTime)
2．initLimit =10：LF初始通信時限
集羣中的Follower跟隨者服務器與Leader領導者服務器之間初始連接時能容忍的最多心跳數（tickTime的數量），用它來限定集羣中的Zookeeper服務器連接到Leader的時限。
3．syncLimit =5：LF同步通信時限
集羣中Leader與Follower之間的最大響應時間單位，假如響應超過syncLimit * tickTime，Leader認爲Follwer死掉，從服務器列表中刪除Follwer。
4．dataDir：數據文件目錄+數據持久化路徑
主要用於保存Zookeeper中的數據。
5．clientPort =2181：客戶端連接端口
監聽客戶端連接的端口。
第3章 Zookeeper內部原理
3.1 選舉機制（面試重點）
1）半數機制：集羣中半數以上機器存活，集羣可用。所以Zookeeper適合安裝奇數臺服務器。
2）Zookeeper雖然在配置文件中並沒有指定Master和Slave。但是，Zookeeper工作時，是有一個節點爲Leader，其他則爲Follower，Leader是通過內部的選舉機制臨時產生的。
3）以一個簡單的例子來說明整個選舉的過程。
假設有五臺服務器組成的Zookeeper集羣，它們的id從1-5，同時它們都是最新啓動的，也就是沒有歷史數據，在存放數據量這一點上，都是一樣的。假設這些服務器依序啓動，來看看會發生什麼，如圖5-8所示。
圖5-8 Zookeeper的選舉機制
（1）服務器1啓動，此時只有它一臺服務器啓動了，它發出去的報文沒有任何響應，所以它的選舉狀態一直是LOOKING狀態。
（2）服務器2啓動，它與最開始啓動的服務器1進行通信，互相交換自己的選舉結果，由於兩者都沒有歷史數據，所以id值較大的服務器2勝出，但是由於沒有達到超過半數以上的服務器都同意選舉它(這個例子中的半數以上是3)，所以服務器1、2還是繼續保持LOOKING狀態。
（3）服務器3啓動，根據前面的理論分析，服務器3成爲服務器1、2、3中的老大，而與上面不同的是，此時有三臺服務器選舉了它，所以它成爲了這次選舉的Leader。
（4）服務器4啓動，根據前面的分析，理論上服務器4應該是服務器1、2、3、4中最大的，但是由於前面已經有半數以上的服務器選舉了服務器3，所以它只能接收當小弟的命了。
（5）服務器5啓動，同4一樣當小弟。
3.2 節點類型
3.3 Stat結構體
1）czxid-創建節點的事務zxid
每次修改ZooKeeper狀態都會收到一個zxid形式的時間戳，也就是ZooKeeper事務ID。
事務ID是ZooKeeper中所有修改總的次序。每個修改都有唯一的zxid，如果zxid1小於zxid2，那麼zxid1在zxid2之前發生。
2）ctime - znode被創建的毫秒數(從1970年開始)
3）mzxid - znode最後更新的事務zxid
4）mtime - znode最後修改的毫秒數(從1970年開始)
5）pZxid-znode最後更新的子節點zxid
6）cversion - znode子節點變化號，znode子節點修改次數
7）dataversion - znode數據變化號
8）aclVersion - znode訪問控制列表的變化號
9）ephemeralOwner- 如果是臨時節點，這個是znode擁有者的session id。如果不是臨時節點則是0。
10）dataLength- znode的數據長度
11）numChildren - znode子節點數量
3.4 監聽器原理（面試重點）
3.5 寫數據流程
第4章 Zookeeper實戰（開發重點）
4.1 分佈式安裝部署
1．集羣規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
2．解壓安裝
（1）解壓Zookeeper安裝包到/opt/module/目錄下
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）同步/opt/module/zookeeper-3.4.10目錄內容到hadoop103、hadoop104
xsync zookeeper-3.4.10/
3．配置服務器編號
（1）在/opt/module/zookeeper-3.4.10/這個目錄下創建zkData
mkdir -p zkData
（2）在/opt/module/zookeeper-3.4.10/zkData目錄下創建一個myid的文件
touch myid
添加myid文件，注意一定要在linux裏面創建，在notepad++裏面很可能亂碼
（3）編輯myid文件
vim myid
在文件中添加與server對應的編號：
2
（4）拷貝配置好的zookeeper到其他機器上
xsync myid
並分別在hadoop102、hadoop103上修改myid文件中內容爲3、4
4．配置zoo.cfg文件
（1）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg爲zoo.cfg
mv zoo_sample.cfg zoo.cfg
（2）打開zoo.cfg文件
vim zoo.cfg
修改數據存儲路徑配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（3）同步zoo.cfg配置文件
xsync zoo.cfg
4）配置參數解讀
server.A=B:C:D。
A是一個數字，表示這個是第幾號服務器；
集羣模式下配置一個文件myid，這個文件在dataDir目錄下，這個文件裏面有一個數據就是A的值，Zookeeper啓動時讀取此文件，拿到裏面的數據與zoo.cfg裏面的配置信息比較從而判斷到底是哪個server。
B是這個服務器的ip地址；
C是這個服務器與集羣中的Leader服務器交換信息的端口；
D是萬一集羣中的Leader服務器掛了，需要一個端口來重新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通信的端口。
4．集羣操作
（1）分別啓動Zookeeper
1# bin/zkServer.sh start
2# bin/zkServer.sh start
3# bin/zkServer.sh start
（2）查看狀態
# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
4.2 客戶端命令行操作
|
命令基本語法 |
功能描述 |
|
help |
顯示所有操作命令 |
|
ls path [watch] |
使用 ls 命令來查看當前znode中所包含的內容 |
|
ls2 path [watch] |
查看當前節點數據並能看到更新次數等數據 |
|
create |
普通創建 -s 含有序列 -e 臨時（重啓或者超時消失） |
|
get path [watch] |
獲得節點的值 |
|
set |
設置節點的具體值 |
|
stat |
查看節點狀態 |
|
delete |
刪除節點 |
|
rmr |
遞歸刪除節點 |
1．啓動客戶端
bin/zkCli.sh
2．顯示所有操作命令
[zk: localhost:2181(CONNECTED) 1] help
3．查看當前znode中所包含的內容
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
4．查看當前節點詳細數據
[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
5．分別創建2個普通節點
[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo
6．獲得節點的值
[zk: localhost:2181(CONNECTED) 5] get /sanguo
jinlian
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000003
mtime = Wed Aug 29 00:03:23 CST 2018
pZxid = 0x100000004
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 1
[zk: localhost:2181(CONNECTED) 6]
[zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo
liubei
cZxid = 0x100000004
ctime = Wed Aug 29 00:04:35 CST 2018
mZxid = 0x100000004
mtime = Wed Aug 29 00:04:35 CST 2018
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0
7．創建短暫節點
[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo
（1）在當前客戶端是能查看到的
[zk: localhost:2181(CONNECTED) 3] ls /sanguo
[wuguo, shuguo]
（2）退出當前客戶端然後再重啓客戶端
[zk: localhost:2181(CONNECTED) 12] quit
bin/zkCli.sh
（3）再次查看根目錄下短暫節點已經刪除
[zk: localhost:2181(CONNECTED) 0] ls /sanguo
[shuguo]
8．創建帶序號的節點
（1）先創建一個普通的根節點/sanguo/weiguo
[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo
（2）創建帶序號的節點
[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
Created /sanguo/weiguo/xiaoqiao0000000000
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
Created /sanguo/weiguo/daqiao0000000001
[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
Created /sanguo/weiguo/diaocan0000000002
如果原來沒有序號節點，序號從0開始依次遞增。如果原節點下已有2個節點，則再排序時從2開始，以此類推。
9．修改節點數據值
[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"
10．節點的值變化監聽
（1）在hadoop104主機上註冊監聽/sanguo節點數據變化
[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch
（2）在hadoop103主機上修改/sanguo節點的數據
[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"
（3）觀察hadoop104主機收到數據變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo
11．節點的子節點變化監聽（路徑變化）
（1）在hadoop104主機上註冊監聽/sanguo節點的子節點變化
[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
[aa0000000001, server101]
（2）在hadoop103主機/sanguo節點上創建子節點
[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
Created /sanguo/jin
（3）觀察hadoop104主機收到子節點變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo
12．刪除節點
[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin
13．遞歸刪除節點
[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo
14．查看節點狀態
[zk: localhost:2181(CONNECTED) 17] stat /sanguo
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000011
mtime = Wed Aug 29 00:21:23 CST 2018
pZxid = 0x100000014
cversion = 9
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1
