OS: red hat linux 6.0 64bit
MariaDB server1: | 192.168.1.137 |
MariaDB server2: | 192.168.1.138 |
MariaDB server3: | 192.168.1.139 |
Galera SST user: | sst |
Galera SST password: | sstpass123 |
MySQL root password: | kongzhong |
[root@client137 ~]# vim /etc/yum.repos.d/mariadb.repo [root@client138 ~]# vim /etc/yum.repos.d/mariadb.repo [root@client139 ~]# vim /etc/yum.repos.d/mariadb.repo # yum源的內容如下: [mariadb] name = MariaDB baseurl = http://yum.mariadb.org/5.5/rhel6-amd64 enabled = 1 gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB gpgcheck=1 [root@client137 ~]# yum makecache [root@client138 ~]# yum makecache [root@client139 ~]# yum makecache
[root@client137 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client [root@client138 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client [root@client139 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client
[root@client137 ~]# vim /etc/hosts 192.168.1.137 client137.kongzhong.com client137 192.168.1.138 client138.kongzhong.com client138 192.168.1.139 client139.kongzhong.com client139 # 啓動測試一下 [root@client137 ~]# /etc/init.d/mysql start Starting MySQL.... SUCCESS! [root@client137 ~]# chkconfig mysql on
[root@client137 ~]# /usr/bin/mysql_secure_installation [root@client137 ~]# /usr/bin/mysql_secure_installation # 登陸數據庫,授權用於集羣同步的用戶和密碼 [root@client137 ~]# mysql -uroot -pkongzhong mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123'; mysql> GRANT ALL PRIVILEGES on *.* to sst@'%'; mysql> FLUSH PRIVILEGES; mysql> quit # 創建並配置wsrep.cnf文件 [root@client137 ~]# cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/ [root@client137 ~]# vim /etc/my.cnf.d/wsrep.cnf # 只需要修改如下4行: wsrep_provider=/usr/lib64/galera/libgalera_smm.so wsrep_cluster_address="gcomm://" wsrep_sst_auth=sst:sstpass123 wsrep_sst_method=rsync # 注意: # "gcomm://" 是特殊的地址,僅僅是Galera cluster初始化啓動時候使用。 # 如果集羣啓動以後,我們關閉了第一個節點,那麼再次啓動的時候必須先修改,"gcomm://"爲其他節點的集羣地址,例如wsrep_cluster_address="gcomm://192.168.1.138:4567"
[root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT [root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT # 啓動mariadb,查看3306和4567端口是否被監聽 [root@client137 ~]# /etc/init.d/mysql restart [root@client137 ~]# netstat -tulpn |grep -e 4567 -e 3306 tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363/mysqld tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363/mysqld # 這樣一個節點就已經配置完成,其他節點的配置先給個思路,如下注釋部分: # ********************* # 構造新節點的操作步驟如下: 1.按照上述1-6的步驟安裝MariaDB和Galera library 2.除了第5步wsrep_cluster_address的配置稍有不同: wsrep_cluster_address="gcomm://Node-A-IP:4567" # 這裏指向是指上一層的集羣地址 3.重起MariaDB # ********************* #
# 構建192.168.1.138節點 [root@client138 ~]# /etc/init.d/mysql start Starting MySQL.... SUCCESS! [root@client138 ~]# /usr/bin/mysql_secure_installation [root@client138 ~]# mysql -uroot -pkongzhong mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123'; mysql> GRANT ALL PRIVILEGES on *.* to sst@'%'; mysql> FLUSH PRIVILEGES; mysql> quit [root@client138 ~]# cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/ [root@client138 ~]# vim /etc/my.cnf.d/wsrep.cnf # 只需要修改如下4行: wsrep_provider=/usr/lib64/galera/libgalera_smm.so # 這裏指定上一個集羣節點的IP地址 wsrep_cluster_address="gcomm://192.168.1.137:4567" # 指定用於同步的賬號和密碼 wsrep_sst_auth=sst:sstpass123 wsrep_sst_method=rsync # 確認本機防火牆上開放了所需TCP 3306和TCP 4567的端口 [root@client138 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT [root@client138 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT # 啓動,監聽 [root@client138 ~]# /etc/init.d/mysql restart [root@client138 ~]# netstat -tulpn |grep -e 4567 -e 3306 tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363/mysqld tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363/mysqld # 構建192.168.1.139節點 [root@client139 ~]# /etc/init.d/mysql start Starting MySQL.... SUCCESS! [root@client139 ~]# /usr/bin/mysql_secure_installation [root@client139 ~]# mysql -uroot -pkongzhong mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123'; mysql> GRANT ALL PRIVILEGES on *.* to sst@'%'; mysql> FLUSH PRIVILEGES; mysql> quit [root@client139 ~]# cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/ [root@client139 ~]# vim /etc/my.cnf.d/wsrep.cnf # 只需要修改如下4行: wsrep_provider=/usr/lib64/galera/libgalera_smm.so # 這裏指定上一個集羣節點的IP地址 wsrep_cluster_address="gcomm://192.168.1.138:4567" # 指定用於同步的賬號和密碼 wsrep_sst_method=rsync # 確認本機防火牆上開放了所需TCP 3306和TCP 4567的端口 [root@client139 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT [root@client139 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT # 啓動,並查看監聽 [root@client139 ~]# /etc/init.d/mysql restart [root@client139 ~]# netstat -tulpn |grep -e 4567 -e 3306 tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363/mysqld tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363/mysqld
對於只有2個節點的Galera Cluster和其他集羣軟件一樣,需要面對極端情況下的"腦裂"狀態。
爲了避免這種問題,Galera引入了"arbitrator(仲裁人)"。
"仲裁人"節點上沒有數據,它在集羣中的作用就是在集羣發生分裂時進行仲裁,集羣中可以有多個"仲裁人"節點。
"仲裁人"節點加入集羣的方法如下:
[root@client137 ~]# garbd -a gcomm://192.168.1.137:4567 -g my_wsrep_cluster -d
# 下面這個參數的顯示是初始化數據庫顯示的情況 MariaDB [(none)]> SHOW VARIABLES LIKE 'wsrep_cluster_address'; +-----------------------+----------+ | Variable_name | Value | +-----------------------+----------+ | wsrep_cluster_address | gcomm:// | +-----------------------+----------+ 1 row in set (0.00 sec) # 如果配置了指向集羣地址,上面那個參數值,應該是你指定集羣的IP地址 MariaDB [kz]> SHOW VARIABLES LIKE 'wsrep_cluster_address'; +-----------------------+----------------------------+ | Variable_name | Value | +-----------------------+----------------------------+ | wsrep_cluster_address | gcomm://192.168.1.139:4567 | +-----------------------+----------------------------+ 1 row in set (0.00 sec) # 此參數查看是否開啓 MariaDB [kz]> show status like 'wsrep_ready'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | wsrep_ready | ON | +---------------+-------+ 1 row in set (0.00 sec) # 這個查看wsrep的相關參數 MariaDB [terry]> show status like 'wsrep%'; +----------------------------+--------------------------------------+ | Variable_name | Value | +----------------------------+--------------------------------------+ | wsrep_local_state_uuid | bb5b9e17-66c8-11e3-86ba-96854521d205 | uuid 集羣唯一標記 | wsrep_protocol_version | 4 | | wsrep_last_committed | 16 | sql 提交記錄 | wsrep_replicated | 4 | 隨着複製發出的次數 | wsrep_replicated_bytes | 692 | 數據複製發出的字節數 | wsrep_received | 18 | 數據複製接收次數 | wsrep_received_bytes | 3070 | 數據複製接收的字節數 | wsrep_local_commits | 4 | 本地執行的 sql | wsrep_local_cert_failures | 0 | 本地失敗事務 | wsrep_local_bf_aborts | 0 |從執行事務過程被本地中斷 | wsrep_local_replays | 0 | | wsrep_local_send_queue | 0 | 本地發出的隊列 | wsrep_local_send_queue_avg | 0.142857 | 隊列平均時間間隔 | wsrep_local_recv_queue | 0 | 本地接收隊列 | wsrep_local_recv_queue_avg | 0.000000 | 本地接收時間間隔 | wsrep_flow_control_paused | 0.000000 | | wsrep_flow_control_sent | 0 | | wsrep_flow_control_recv | 0 | | wsrep_cert_deps_distance | 0.000000 | 併發數量 | wsrep_apply_oooe | 0.000000 | | wsrep_apply_oool | 0.000000 | | wsrep_apply_window | 1.000000 | | wsrep_commit_oooe | 0.000000 | | wsrep_commit_oool | 0.000000 | | wsrep_commit_window | 1.000000 | | wsrep_local_state | 4 | | wsrep_local_state_comment | Synced | | wsrep_cert_index_size | 0 | | wsrep_causal_reads | 0 | | wsrep_incoming_addresses | 192.168.1.137:3306 | 連接中的數據庫 | wsrep_cluster_conf_id | 18 | | wsrep_cluster_size | 2 | 集羣成員個數 | wsrep_cluster_state_uuid | bb5b9e17-66c8-11e3-86ba-96854521d205 | 集羣 ID | wsrep_cluster_status | Primary | 主服務器 | wsrep_connected | ON | 當前是否連接中 | wsrep_local_index | 1 | | wsrep_provider_name | Galera | | wsrep_provider_vendor | Codership Oy <[email protected]> | | wsrep_provider_version | 2.7(rXXXX) | | wsrep_ready | ON | 插件是否應用中 +----------------------------+--------------------------------------+ 40 rows in set (0.05 sec)
監控狀態參數說明:
(1).集羣完整性檢查:
wsrep_cluster_state_uuid:在集羣所有節點的值應該是相同的,有不同值的節點,說明其沒有連接入集羣.
wsrep_cluster_conf_id:正常情況下所有節點上該值是一樣的.如果值不同,說明該節點被臨時"分區"了.當節點之間網絡連接恢復的時候應該會恢復一樣的值.
wsrep_cluster_size:如果這個值跟預期的節點數一致,則所有的集羣節點已經連接.
wsrep_cluster_status:集羣組成的狀態.如果不爲"Primary",說明出現"分區"或是"split-brain"狀況.
(2).節點狀態檢查:
wsrep_ready: 該值爲ON,則說明可以接受SQL負載.如果爲Off,則需要檢查wsrep_connected.
wsrep_connected: 如果該值爲Off,且wsrep_ready的值也爲Off,則說明該節點沒有連接到集羣.
wsrep_local_state_comment:如果wsrep_connected爲On,但wsrep_ready爲OFF,則可以從該項查看原因.
(3).複製健康檢查:
wsrep_cert_deps_distance:有多少事務可以並行應用處理.wsrep_slave_threads設置的值不應該高出該值太多.
wsrep_flow_control_sent:表示該節點已經停止複製了多少次.
wsrep_local_recv_queue_avg:表示slave事務隊列的平均長度.slave瓶頸的預兆.
最慢的節點的wsrep_flow_control_sent和wsrep_local_recv_queue_avg這兩個值最高.這兩個值較低的話,相對更好.
(4).檢測慢網絡問題:
wsrep_local_send_queue_avg:網絡瓶頸的預兆.如果這個值比較高的話,可能存在網絡瓶
(5).衝突或死鎖的數目:
wsrep_last_committed:最後提交的事務數目