Codis3.2集羣HA高可用方案

Codis3.2集羣HA高可用方案

Codis高可用方案官方推薦使用Sentinel

Redis 本身就是最終一致性的。Master 掛了，Promote Slave 成爲新的 Master 需要時間（測試15秒內）。其實 Sentinel 就是這個邏輯。Codis3.2 自己沒有實現 HA，而是直接依賴 Sentinel 的。

注意事項：

Sentinel需要使用原生的Redis-server，版本要等於或高於Codis3.2裏面的3.2.8版本， 這裏是在Redis3.2.9的下配置測試的，另外Protected-mode no這個保護模式需要關閉，Sentinel.conf默認配置不需要寫主從關係，Codif-fe界面SYNC會讀取主從關係。

1，每個 Group 前面的 SYNC 是刷 group 所涉及到的 Slot 的路由表給 Proxy 的，包含主從關係。

2，而 Sentinel 前面的 SYNC 是給所有 Sentinel 刷配置的，同時把 Sentinel 列表刷給每個 Proxy。所以只要在集羣搭建完成之後，或者每次添加、刪除 Redis server 之後（穩定之後） ，在 Sentinel 下面點一次 SYNC 即可。

3，Codis3.2 的只解決了併發遷移＋異步遷移問題。不會去做 HA 有關的工作。所以在 3.2 下解決問題的話， Sentinel 就足夠了，而且只能用 Sentinel。Sentinel 負責的是 Group 內的主從切換。

4，內核優化

echo never > /sys/kernel/mm/transparent_hugepage/enabled

sysctl vm.overcommit_memory=1

一，Codis集羣架構

192.168.188.120 codis120  codis-server  zookeeper       sentinel
192.168.188.121 codis121  codis-server  zookeeper       sentinel
192.168.188.122 codis122  codis-server  zookeeper       sentinel
192.168.188.123 codis123  codis-server  codis-proxy    sentinellvs
192.168.188.124 codis124  codis-server  codis-proxy    sentinellvs
192.168.188.125 codis125  codis-server  codis-dashboard sentinelcodis-fe

二，配置Codis-server

每臺虛擬機部署3個實例：6379、6380、6381，共18個實例

192.168.188.120:6379、6380、6381
192.168.188.121:6379、6380、6381
192.168.188.122:6379、6380、6381
192.168.188.123:6379、6380、6381
192.168.188.124:6379、6380、6381
192.168.188.125:6379、6380、6381

三，配置Group

設置好1主2從關係，共6組，注意主從從3個實例需要來自3臺虛擬機

Group1（主從從）
192.168.188.120:6379   192.168.188.121:6380  192.168.188.123:6381
Group2（主從從）
192.168.188.121:6379   192.168.188.120:6380  192.168.188.124:6381
Group3（主從從）
192.168.188.122:6379   192.168.188.123:6380  192.168.188.125:6381
Group4（主從從）
192.168.188.123:6379   192.168.188.122:6380  192.168.188.120:6381
Group5（主從從）
192.168.188.124:6379   192.168.188.125:6380  192.168.188.121:6381
Group6（主從從）
192.168.188.125:6379   192.168.188.124:6380  192.168.188.122:6381

四，配置Sentinel

需要配置6個Sentinel，沒臺虛擬機上1個

注意這個原生是在sentinel 的配置文件裏配置，3.2.9的原生的sentinel配置下，另外protected-mode no這個保護模式需要關閉，sentinel.conf默認配置不需要寫主從關係，Codif-fe界面SYNC會讀取主從關係。

1，配置信息

[root@codis120 config]# cat sentinel.conf |grep -Ev "^#|^$"

protected-mode no
port 26379
dir "/tmp"

2，啓動sentinel，多個Sentinel便於選舉和保證高可用

192.168.188.120:26379
192.168.188.120:26379
192.168.188.120:26379
192.168.188.120:26379
192.168.188.120:26379
192.168.188.120:26379

3，SYNC後通過日誌查看哨兵記錄

20980:X 19 Sep 10:53:28.965 # +monitor master codis-easypass-2 192.168.188.121 6379 quorum 2
20980:X 19 Sep 10:53:28.965 # +set master codis-easypass-2 192.168.188.121 6379 parallel-syncs 1
20980:X 19 Sep 10:53:28.965 # +set master codis-easypass-2 192.168.188.121 6379 down-after-milliseconds 30000
20980:X 19 Sep 10:53:28.965 # +set master codis-easypass-2 192.168.188.121 6379 failover-timeout 300000
20980:X 19 Sep 10:53:28.967 * +slave slave 192.168.188.120:6380 192.168.188.120 6380 @ codis-easypass-2 192.168.188.121 6379
20980:X 19 Sep 10:53:28.969 * +slave slave 192.168.188.124:6381 192.168.188.124 6381 @ codis-easypass-2 192.168.188.121 6379
20980:X 19 Sep 10:53:28.973 # +monitor master codis-easypass-3 192.168.188.122 6379 quorum 2
20980:X 19 Sep 10:53:28.973 # +set master codis-easypass-3 192.168.188.122 6379 parallel-syncs 1
20980:X 19 Sep 10:53:28.973 # +set master codis-easypass-3 192.168.188.122 6379 down-after-milliseconds 30000
20980:X 19 Sep 10:53:28.973 # +set master codis-easypass-3 192.168.188.122 6379 failover-timeout 300000
20980:X 19 Sep 10:53:28.997 # +monitor master codis-easypass-4 192.168.188.123 6379 quorum 2
20980:X 19 Sep 10:53:28.997 # +set master codis-easypass-4 192.168.188.123 6379 parallel-syncs 1
20980:X 19 Sep 10:53:28.997 # +set master codis-easypass-4 192.168.188.123 6379 down-after-milliseconds 30000
20980:X 19 Sep 10:53:28.997 # +set master codis-easypass-4 192.168.188.123 6379 failover-timeout 300000
20980:X 19 Sep 10:53:29.001 # +monitor master codis-easypass-5 192.168.188.124 6379 quorum 2
20980:X 19 Sep 10:53:29.002 # +set master codis-easypass-5 192.168.188.124 6379 parallel-syncs 1
20980:X 19 Sep 10:53:29.002 # +set master codis-easypass-5 192.168.188.124 6379 down-after-milliseconds 30000
20980:X 19 Sep 10:53:29.002 # +set master codis-easypass-5 192.168.188.124 6379 failover-timeout 300000
20980:X 19 Sep 10:53:29.006 # +monitor master codis-easypass-6 192.168.188.125 6379 quorum 2
20980:X 19 Sep 10:53:29.006 # +set master codis-easypass-6 192.168.188.125 6379 parallel-syncs 1
20980:X 19 Sep 10:53:29.006 # +set master codis-easypass-6 192.168.188.125 6379 down-after-milliseconds 30000
20980:X 19 Sep 10:53:29.006 # +set master codis-easypass-6 192.168.188.125 6379 failover-timeout 300000
20980:X 19 Sep 10:53:29.010 # +monitor master codis-easypass-1 192.168.188.120 6379 quorum 2
20980:X 19 Sep 10:53:29.010 # +set master codis-easypass-1 192.168.188.120 6379 parallel-syncs 1
20980:X 19 Sep 10:53:29.010 # +set master codis-easypass-1 192.168.188.120 6379 down-after-milliseconds 30000
20980:X 19 Sep 10:53:29.010 # +set master codis-easypass-1 192.168.188.120 6379 failover-timeout 300000
20980:X 19 Sep 10:53:29.029 * +slave slave 192.168.188.121:6380 192.168.188.121 6380 @ codis-easypass-1 192.168.188.120 6379
20980:X 19 Sep 10:53:29.031 * +slave slave 192.168.188.123:6381 192.168.188.123 6381 @ codis-easypass-1 192.168.188.120 6379
20980:X 19 Sep 10:53:29.033 * +slave slave 192.168.188.124:6380 192.168.188.124 6380 @ codis-easypass-6 192.168.188.125 6379
20980:X 19 Sep 10:53:29.036 * +slave slave 192.168.188.122:6381 192.168.188.122 6381 @ codis-easypass-6 192.168.188.125 6379
20980:X 19 Sep 10:53:29.038 * +slave slave 192.168.188.123:6380 192.168.188.123 6380 @ codis-easypass-3 192.168.188.122 6379
20980:X 19 Sep 10:53:29.040 * +slave slave 192.168.188.125:6381 192.168.188.125 6381 @ codis-easypass-3 192.168.188.122 6379
20980:X 19 Sep 10:53:29.042 * +slave slave 192.168.188.122:6380 192.168.188.122 6380 @ codis-easypass-4 192.168.188.123 6379
20980:X 19 Sep 10:53:29.044 * +slave slave 192.168.188.120:6381 192.168.188.120 6381 @ codis-easypass-4 192.168.188.123 6379
20980:X 19 Sep 10:53:29.047 * +slave slave 192.168.188.125:6380 192.168.188.125 6380 @ codis-easypass-5 192.168.188.124 6379
20980:X 19 Sep 10:53:29.049 * +slave slave 192.168.188.121:6381 192.168.188.121 6381 @ codis-easypass-5 192.168.188.124 6379
20980:X 19 Sep 10:53:30.958 * +sentinel sentinel 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54 192.168.188.123 26379 @ codis-easypass-4 192.168.188.123 6379
20980:X 19 Sep 10:53:30.960 * +sentinel sentinel 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54 192.168.188.123 26379 @ codis-easypass-3 192.168.188.122 6379
20980:X 19 Sep 10:53:30.962 * +sentinel sentinel 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54 192.168.188.123 26379 @ codis-easypass-2 192.168.188.121 6379
20980:X 19 Sep 10:53:30.965 * +sentinel sentinel 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54 192.168.188.123 26379 @ codis-easypass-6 192.168.188.125 6379
20980:X 19 Sep 10:53:30.976 * +sentinel sentinel 28758dd53514376486fdec2acdb73f273fa90645 192.168.188.121 26379 @ codis-easypass-2 192.168.188.121 6379
20980:X 19 Sep 10:53:30.978 * +sentinel sentinel 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54 192.168.188.123 26379 @ codis-easypass-5 192.168.188.124 6379
20980:X 19 Sep 10:53:30.981 * +sentinel sentinel 28758dd53514376486fdec2acdb73f273fa90645 192.168.188.121 26379 @ codis-easypass-3 192.168.188.122 6379
20980:X 19 Sep 10:53:30.989 * +sentinel sentinel 2204a1a2c3c5387bb33ab34de52c4eeda59257d4 192.168.188.122 26379 @ codis-easypass-2 192.168.188.121 6379
20980:X 19 Sep 10:53:30.991 * +sentinel sentinel 2204a1a2c3c5387bb33ab34de52c4eeda59257d4 192.168.188.122 26379 @ codis-easypass-4 192.168.188.123 6379
20980:X 19 Sep 10:53:30.993 * +sentinel sentinel 2204a1a2c3c5387bb33ab34de52c4eeda59257d4 192.168.188.122 26379 @ codis-easypass-3 192.168.188.122 6379
20980:X 19 Sep 10:53:31.001 * +sentinel sentinel d0268512448981b56e0eb76318af009b4575404c 192.168.188.125 26379 @ codis-easypass-6 192.168.188.125 6379
20980:X 19 Sep 10:53:31.003 * +sentinel sentinel d0268512448981b56e0eb76318af009b4575404c 192.168.188.125 26379 @ codis-easypass-1 192.168.188.120 6379
20980:X 19 Sep 10:53:31.005 * +sentinel sentinel d0268512448981b56e0eb76318af009b4575404c 192.168.188.125 26379 @ codis-easypass-4 192.168.188.123 6379
20980:X 19 Sep 10:53:31.008 * +sentinel sentinel d0268512448981b56e0eb76318af009b4575404c 192.168.188.125 26379 @ codis-easypass-3 192.168.188.122 6379
20980:X 19 Sep 10:53:31.010 * +sentinel sentinel d0268512448981b56e0eb76318af009b4575404c 192.168.188.125 26379 @ codis-easypass-2 192.168.188.121 6379
20980:X 19 Sep 10:53:31.012 * +sentinel sentinel d0268512448981b56e0eb76318af009b4575404c 192.168.188.125 26379 @ codis-easypass-5 192.168.188.124 6379
20980:X 19 Sep 10:53:31.015 * +sentinel sentinel 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54 192.168.188.123 26379 @ codis-easypass-1 192.168.188.120 6379
20980:X 19 Sep 10:53:31.052 * +sentinel sentinel 28758dd53514376486fdec2acdb73f273fa90645 192.168.188.121 26379 @ codis-easypass-6 192.168.188.125 6379
20980:X 19 Sep 10:53:31.055 * +sentinel sentinel 28758dd53514376486fdec2acdb73f273fa90645 192.168.188.121 26379 @ codis-easypass-1 192.168.188.120 6379
20980:X 19 Sep 10:53:31.058 * +sentinel sentinel 28758dd53514376486fdec2acdb73f273fa90645 192.168.188.121 26379 @ codis-easypass-4 192.168.188.123 6379
20980:X 19 Sep 10:53:31.059 * +sentinel sentinel 28758dd53514376486fdec2acdb73f273fa90645 192.168.188.121 26379 @ codis-easypass-5 192.168.188.124 6379
20980:X 19 Sep 10:53:31.062 * +sentinel sentinel 2204a1a2c3c5387bb33ab34de52c4eeda59257d4 192.168.188.122 26379 @ codis-easypass-6 192.168.188.125 6379
20980:X 19 Sep 10:53:31.069 * +sentinel sentinel 2204a1a2c3c5387bb33ab34de52c4eeda59257d4 192.168.188.122 26379 @ codis-easypass-5 192.168.188.124 6379
20980:X 19 Sep 10:53:31.071 * +sentinel sentinel 2204a1a2c3c5387bb33ab34de52c4eeda59257d4 192.168.188.122 26379 @ codis-easypass-1 192.168.188.120 6379
20980:X 19 Sep 10:53:31.276 * +sentinel sentinel 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 192.168.188.124 26379 @ codis-easypass-4 192.168.188.123 6379
20980:X 19 Sep 10:53:31.292 * +sentinel sentinel 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 192.168.188.124 26379 @ codis-easypass-6 192.168.188.125 6379
20980:X 19 Sep 10:53:31.303 * +sentinel sentinel 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 192.168.188.124 26379 @ codis-easypass-3 192.168.188.122 6379
20980:X 19 Sep 10:53:31.314 * +sentinel sentinel 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 192.168.188.124 26379 @ codis-easypass-2 192.168.188.121 6379
20980:X 19 Sep 10:53:31.322 * +sentinel sentinel 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 192.168.188.124 26379 @ codis-easypass-5 192.168.188.124 6379
20980:X 19 Sep 10:53:31.325 * +sentinel sentinel 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 192.168.188.124 26379 @ codis-easypass-1 192.168.188.120 6379

4，也可以通過圖形界面查看

http://192.168.188.125:18080/api/topom/sentinels/info/192.168.188.120:26379/monitored

5，最後配置文件覈對

新增內容已經保存到sentinel.conf裏面了

[root@codis120 config]# cat sentinel.conf |grep -Ev "^#|^$"

protected-mode no
port 26379
dir "/tmp"
sentinel myid 620b655b311656aa6016e6b864b0f2a8fb03d453
sentinel monitor codis-easypass-6 192.168.188.125 6379 2
sentinel failover-timeout codis-easypass-6 300000
sentinel config-epoch codis-easypass-6 0
sentinel leader-epoch codis-easypass-6 0
sentinel known-slave codis-easypass-6 192.168.188.124 6380
sentinel known-slave codis-easypass-6 192.168.188.122 6381
sentinel known-sentinel codis-easypass-6 192.168.188.125 26379 d0268512448981b56e0eb76318af009b4575404c
sentinel known-sentinel codis-easypass-6 192.168.188.121 26379 28758dd53514376486fdec2acdb73f273fa90645
sentinel known-sentinel codis-easypass-6 192.168.188.123 26379 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54
sentinel known-sentinel codis-easypass-6 192.168.188.122 26379 2204a1a2c3c5387bb33ab34de52c4eeda59257d4
sentinel known-sentinel codis-easypass-6 192.168.188.124 26379 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9
sentinel monitor codis-easypass-2 192.168.188.121 6379 2
sentinel failover-timeout codis-easypass-2 300000
sentinel config-epoch codis-easypass-2 0
sentinel leader-epoch codis-easypass-2 0
sentinel known-slave codis-easypass-2 192.168.188.120 6380
sentinel known-slave codis-easypass-2 192.168.188.124 6381
sentinel known-sentinel codis-easypass-2 192.168.188.125 26379 d0268512448981b56e0eb76318af009b4575404c
sentinel known-sentinel codis-easypass-2 192.168.188.121 26379 28758dd53514376486fdec2acdb73f273fa90645
sentinel known-sentinel codis-easypass-2 192.168.188.123 26379 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54
sentinel known-sentinel codis-easypass-2 192.168.188.122 26379 2204a1a2c3c5387bb33ab34de52c4eeda59257d4
sentinel known-sentinel codis-easypass-2 192.168.188.124 26379 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9
sentinel monitor codis-easypass-1 192.168.188.120 6379 2
sentinel failover-timeout codis-easypass-1 300000
sentinel config-epoch codis-easypass-1 0
sentinel leader-epoch codis-easypass-1 0
sentinel known-slave codis-easypass-1 192.168.188.123 6381
sentinel known-slave codis-easypass-1 192.168.188.121 6380
sentinel known-sentinel codis-easypass-1 192.168.188.125 26379 d0268512448981b56e0eb76318af009b4575404c
sentinel known-sentinel codis-easypass-1 192.168.188.121 26379 28758dd53514376486fdec2acdb73f273fa90645
sentinel known-sentinel codis-easypass-1 192.168.188.123 26379 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54
sentinel known-sentinel codis-easypass-1 192.168.188.122 26379 2204a1a2c3c5387bb33ab34de52c4eeda59257d4
sentinel known-sentinel codis-easypass-1 192.168.188.124 26379 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9
sentinel monitor codis-easypass-3 192.168.188.122 6379 2
sentinel failover-timeout codis-easypass-3 300000
sentinel config-epoch codis-easypass-3 0
sentinel leader-epoch codis-easypass-3 0
sentinel known-slave codis-easypass-3 192.168.188.123 6380
sentinel known-slave codis-easypass-3 192.168.188.125 6381
sentinel known-sentinel codis-easypass-3 192.168.188.125 26379 d0268512448981b56e0eb76318af009b4575404c
sentinel known-sentinel codis-easypass-3 192.168.188.121 26379 28758dd53514376486fdec2acdb73f273fa90645
sentinel known-sentinel codis-easypass-3 192.168.188.123 26379 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54
sentinel known-sentinel codis-easypass-3 192.168.188.122 26379 2204a1a2c3c5387bb33ab34de52c4eeda59257d4
sentinel known-sentinel codis-easypass-3 192.168.188.124 26379 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9
sentinel monitor codis-easypass-4 192.168.188.123 6379 2
sentinel failover-timeout codis-easypass-4 300000
sentinel config-epoch codis-easypass-4 0
sentinel leader-epoch codis-easypass-4 0
sentinel known-slave codis-easypass-4 192.168.188.120 6381
sentinel known-slave codis-easypass-4 192.168.188.122 6380
sentinel known-sentinel codis-easypass-4 192.168.188.125 26379 d0268512448981b56e0eb76318af009b4575404c
sentinel known-sentinel codis-easypass-4 192.168.188.121 26379 28758dd53514376486fdec2acdb73f273fa90645
sentinel known-sentinel codis-easypass-4 192.168.188.123 26379 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54
sentinel known-sentinel codis-easypass-4 192.168.188.122 26379 2204a1a2c3c5387bb33ab34de52c4eeda59257d4
sentinel known-sentinel codis-easypass-4 192.168.188.124 26379 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9
sentinel monitor codis-easypass-5 192.168.188.124 6379 2
sentinel failover-timeout codis-easypass-5 300000
sentinel config-epoch codis-easypass-5 0
sentinel leader-epoch codis-easypass-5 0
sentinel known-slave codis-easypass-5 192.168.188.125 6380
sentinel known-slave codis-easypass-5 192.168.188.121 6381
sentinel known-sentinel codis-easypass-5 192.168.188.125 26379 d0268512448981b56e0eb76318af009b4575404c
sentinel known-sentinel codis-easypass-5 192.168.188.121 26379 28758dd53514376486fdec2acdb73f273fa90645
sentinel known-sentinel codis-easypass-5 192.168.188.123 26379 9c1ccd7b64d0eb0fa0be4db4b4b86e4b8aa79c54
sentinel known-sentinel codis-easypass-5 192.168.188.122 26379 2204a1a2c3c5387bb33ab34de52c4eeda59257d4
sentinel known-sentinel codis-easypass-5 192.168.188.124 26379 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9
sentinel current-epoch 0

五，Group內主從切換測試

Group3測試

Group3（主從從）

192.168.188.122:6379   192.168.188.123:6380  192.168.188.125:6381

1，首先，停止192.168.188.122:6379

[root@codis122 admin]# /usr/local/codis/admin/codis-server-admin-6379.sh stop

/usr/local/codis/admin/../config/redis-6379.conf

stopping codis-server ... 

STOPPED

2，檢測發現192.168.188.125:6381被選舉爲主了，切換過程大概15秒內

8980:X 19 Sep 11:51:17.416 # +sdown master codis-easypass-3 192.168.188.122 6379
8980:X 19 Sep 11:51:17.461 # +new-epoch 1
8980:X 19 Sep 11:51:17.462 # +vote-for-leader 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 1
8980:X 19 Sep 11:51:17.488 # +odown master codis-easypass-3 192.168.188.122 6379 #quorum 6/2
8980:X 19 Sep 11:51:17.488 # Next failover delay: I will not start a failover before Tue Sep 19 12:01:17 2017
8980:X 19 Sep 11:51:18.283 # +config-update-from sentinel 6ee9b78f205908be1bbbe5dc9cc5a55cb6d1f3f9 192.168.188.124 26379 @ codis-easypass-3 192.168.188.122 6379
8980:X 19 Sep 11:51:18.283 # +switch-master codis-easypass-3 192.168.188.122 6379 192.168.188.125 6381
8980:X 19 Sep 11:51:18.284 * +slave slave 192.168.188.123:6380 192.168.188.123 6380 @ codis-easypass-3 192.168.188.125 6381
8980:X 19 Sep 11:51:18.284 * +slave slave 192.168.188.122:6379 192.168.188.122 6379 @ codis-easypass-3 192.168.188.125 6381
8980:X 19 Sep 11:51:48.285 # +sdown slave 192.168.188.122:6379 192.168.188.122 6379 @ codis-easypass-3 192.168.188.125 6381
8980:X 19 Sep 11:52:07.256 # -sdown slave 192.168.188.122:6379 192.168.188.122 6379 @ codis-easypass-3 192.168.188.125 6381

3，最後啓動192.168.188.122:6379，變成了Group3的一個從

[root@codis122 admin]# /usr/local/codis/admin/codis-server-admin-6379.sh start 

/usr/local/codis/admin/../config/redis-6379.conf

starting codis-server ... 

18701:X 19 Sep 11:52:07.331 # -sdown slave 192.168.188.122:6379 192.168.188.122 6379 @ codis-easypass-3 192.168.188.125 6381