需求 、解決問題點：
1：現有的mysql數據主從模式，數據同步延遲；
2：mysql主從進程經常崩潰，數據找平困難；
3：數據庫主從或者主主模式數據查詢、寫入慢；
4：mariadb或者mysql數據庫 節點性能需要指數級提升；
5：mariadb或者mysql數據庫對數據安全性有較高的要求；
6：項目要求數據庫有橫向擴展的能力；
7 ：等等。。。。。。
一、MariaDB Galera Cluster概要：
1.簡述：
MariaDB Galera Cluster 是一套在mysql innodb存儲引擎上面實現multi-master及數據實時同步的系統架構，業務層面無需做讀寫分離工作，數據庫讀寫壓力都能按照既定的規則分發到各個節點上去。在數據方面完全兼容 MariaDB 和 MySQL。
2.特性：
(1).同步複製 Synchronous replication
(2).Active-active multi-master 拓撲邏輯
(3).可對集羣中任一節點進行數據讀寫
(4).自動成員控制，故障節點自動從集羣中移除
(5).自動節點加入
(6).真正並行的複製，基於行級
(7).直接客戶端連接，原生的 MySQL 接口
(8).每個節點都包含完整的數據副本
(9).多臺數據庫中數據同步由 wsrep 接口實現
3.侷限性
(1).目前的複製僅僅支持InnoDB存儲引擎,任何寫入其他引擎的表，包括mysql.*表將不會複製,但是DDL語句會被複制的,因此創建用戶將會被複制,但是insert into mysql.user…將不會被複制的.
(2).DELETE操作不支持沒有主鍵的表,沒有主鍵的表在不同的節點順序將不同,如果執行SELECT…LIMIT… 將出現不同的結果集.
(3).在多主環境下LOCK/UNLOCK TABLES不支持,以及鎖函數GET_LOCK(), RELEASE_LOCK()…
(4).查詢日誌不能保存在表中。如果開啓查詢日誌，只能保存到文件中。
(5).允許最大的事務大小由wsrep_max_ws_rows和wsrep_max_ws_size定義。任何大型操作將被拒絕。如大型的LOAD DATA操作。
(6).由於集羣是樂觀的併發控制，事務commit可能在該階段中止。如果有兩個事務向在集羣中不同的節點向同一行寫入並提交，失敗的節點將中止。對 於集羣級別的中止，集羣返回死鎖錯誤代碼(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).
(7).XA事務不支持，由於在提交上可能回滾。
(8).整個集羣的寫入吞吐量是由最弱的節點限制，如果有一個節點變得緩慢，那麼整個集羣將是緩慢的。爲了穩定的高性能要求，所有的節點應使用統一的硬件。
(9).集羣節點建議最少3個。
(10).如果DDL語句有問題將破壞集羣。
二:安裝、配置
1：安裝系統、內核版本
[root@galeradbnode-6-11 ~]#
more /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)
[root@galeradbnode-6-11 ~]#
uname -a
Linux galeradbnode-6-11 3.10.0-327.18.2.el7.x86_64 #1 SMP Thu May 12 11:03:55 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
mysqld 10.1.14-MariaDB
2：節點信息如下：
安裝集羣至少需要3個節點
galeradbnode-6-11
galeradbnode-6-12
galeradbnode-6-13
3：各節點配置yum源：
cat >/etc/yum.repos.d/mariadb.repo<<-EOF
[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.1/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1
EOF
安裝注意事項：
清理
/usr/bin/mysql*
/usr/sbin/mysql*
# 確認本機防火牆上開放了所需TCP 3306和TCP 4567的端口
iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT
簡單配置：
galeradbnode-6-12：172.16.6.12
安裝mariadb：
yum -y install mariadb-server
##########如果需要修改數據目錄執行下面操作#############
修改啓動文件中數據存儲目錄
#vim /etc/init.d/mysql
basedir=/usr
datadir=/data/3306/data
創建數據目錄
mkdir -p /data/3306/data
mkdir -p /var/lib/mysql/
修改權限
chown -R mysql.mysql /data/3306/data
chown -R mysql.mysql /var/lib/mysql/
#舊環境需要先刪除舊文件
rm -rf /var/lib/mysql/*
#初始化mysql 服務
mysql_install_db --user=mysql
默認安裝不用此選項
--datadir=/data/3306/data/
##############################################
安全配置、創建root密碼，刪除test庫等：
mysql_secure_installation
創建集羣連接賬戶密碼
MariaDB [(none)]> grant all on *.* to dbclusteruser@'172.16.6.%' identified by 'galerapassword';
關閉數據庫：
/etc/init.d/mysql stop mysql
修改配置文件
############################以下爲配置文件####################################
[root@galeradbnode-6-12 ~]# more /etc/my.cnf.d/server.cnf
#
[client]
user = root
password = dbpassword
port = 13306
# These groups are read by MariaDB server.
# Use it for options that only the server (but not clients) should see
#
# See the examples of server my.cnf files in /usr/share/mysql/
#
# this is read by the standalone daemon and embedded servers
[server]
# this is only for the mysqld standalone daemon
[mysqld]
user = mysql
port = 13306
#
# * Galera-related settings
#
[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address="gcomm://172.16.6.12,172.16.6.13"
wsrep_cluster_name=PTDBCluster
wsrep_node_name = galeradbnode-6-12
wsrep_node_address=172.16.6.12
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
wsrep_slave_threads=10
innodb_flush_log_at_trx_commit=2
innodb_buffer_pool_size=122M
wsrep_sst_method=rsync
wsrep_sst_auth = dbclusteruser:galerapassword
[embedded]
# This group is only read by MariaDB servers, not by MySQL.
# If you use the same .cnf file for MySQL and MariaDB,
# you can put MariaDB-only options here
[mariadb]
# This group is only read by MariaDB-10.1 servers.
# If you use the same .cnf file for MariaDB of different versions,
# use this group for options that older servers don't understand
[mariadb-10.1]
############################以上爲配置文件####################################
啓動節點1，初始化集羣：galeradbnode-6-12
/etc/init.d/mysql start --wsrep-new-cluster
驗證集羣數量
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name | Value |
+--------------------+-------+
| wsrep_cluster_size | 1 |
+--------------------+-------+
1 row in set (0.00 sec)
其它節點安裝部署
1：初始化mariadb 數據庫；
2：copy galeradbnode-6-12 配置文件；
[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address="gcomm://172.16.6.12,172.16.6.13"
wsrep_cluster_name=PTDBCluster
wsrep_node_name = galeradbnode-6-12 《==修改爲本機主機名
wsrep_node_address=172.16.6.12 《==修改爲本機IP地址
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
wsrep_slave_threads=10
innodb_flush_log_at_trx_commit=2
innodb_buffer_pool_size=122M
wsrep_sst_method=rsync
wsrep_sst_auth = dbclusteruser:ptmind890iop
3：啓動數據庫
#/etc/init.d/mysql start
4：驗證集羣數量，每加入一臺機器，cluster 數量增加1個；
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name | Value |
+--------------------+-------+
| wsrep_cluster_size | 2 |
+--------------------+-------+
查詢集羣詳細配置信息命令如下：
MariaDB [(none)]> show status like 'wsrep_%';
+------------------------------+--------------------------------------+
| Variable_name | Value |
+------------------------------+--------------------------------------+
| wsrep_apply_oooe | 0.000000 |
| wsrep_apply_oool | 0.000000 |
| wsrep_apply_window | 0.000000 |
| wsrep_causal_reads | 0 |
| wsrep_cert_deps_distance | 0.000000 |
| wsrep_cert_index_size | 0 |
| wsrep_cert_interval | 0.000000 |
| wsrep_cluster_conf_id | 2 |
| wsrep_cluster_size | 2 |
| wsrep_cluster_state_uuid | 32725a2c-1be7-11e6-b6f0-87e13f10c1dd |
| wsrep_cluster_status | Primary |
| wsrep_commit_oooe | 0.000000 |
| wsrep_commit_oool | 0.000000 |
| wsrep_commit_window | 0.000000 |
| wsrep_connected | ON |
| wsrep_evs_delayed | |
| wsrep_evs_evict_list | |
| wsrep_evs_repl_latency | 0/0/0/0/0 |
| wsrep_evs_state | OPERATIONAL |
| wsrep_flow_control_paused | 0.000000 |
| wsrep_flow_control_paused_ns | 0 |
| wsrep_flow_control_recv | 0 |
| wsrep_flow_control_sent | 0 |
| wsrep_gcomm_uuid | a38ee701-1be9-11e6-a73b-3357c886f499 |
| wsrep_incoming_addresses | 172.16.6.22:3306,172.16.6.21:3306 |
| wsrep_last_committed | 4 |
| wsrep_local_bf_aborts | 0 |
| wsrep_local_cached_downto | 18446744073709551615 |
| wsrep_local_cert_failures | 0 |
| wsrep_local_commits | 0 |
| wsrep_local_index | 1 |
| wsrep_local_recv_queue | 0 |
| wsrep_local_recv_queue_avg | 0.000000 |
| wsrep_local_recv_queue_max | 1 |
| wsrep_local_recv_queue_min | 0 |
| wsrep_local_replays | 0 |
| wsrep_local_send_queue | 0 |
| wsrep_local_send_queue_avg | 0.000000 |
| wsrep_local_send_queue_max | 1 |
| wsrep_local_send_queue_min | 0 |
| wsrep_local_state | 4 |
| wsrep_local_state_comment | Synced |
| wsrep_local_state_uuid | 32725a2c-1be7-11e6-b6f0-87e13f10c1dd |
| wsrep_protocol_version | 7 |
| wsrep_provider_name | Galera |
| wsrep_provider_vendor | Codership Oy <[email protected]> |
| wsrep_provider_version | 25.3.15(r3578) |
| wsrep_ready | ON |
| wsrep_received | 6 |
| wsrep_received_bytes | 415 |
| wsrep_repl_data_bytes | 0 |
| wsrep_repl_keys | 0 |
| wsrep_repl_keys_bytes | 0 |
| wsrep_repl_other_bytes | 0 |
| wsrep_replicated | 0 |
| wsrep_replicated_bytes | 0 |
| wsrep_thread_count | 5 |
+------------------------------+--------------------------------------+
wsrep_connected = on 鏈接已開啓
wsrep_cluster_size =3 集羣中節點的數量
wsrep_incoming_addresses = 172.16.6.12:13306,172.16.6.13:13306 集羣中節點的訪問地址
監控狀態參數說明:
集羣完整性檢查:
wsrep_cluster_state_uuid:在集羣所有節點的值應該是相同的,有不同值的節點,說明其沒有連接入集羣.
wsrep_cluster_conf_id:正常情況下所有節點上該值是一樣的.如果值不同,說明該節點被臨時"分區"了.當節點之間網絡連接恢復的時候應該會恢復一樣的值.
wsrep_cluster_size:如果這個值跟預期的節點數一致,則所有的集羣節點已經連接.
wsrep_cluster_status:集羣組成的狀態.如果不爲"Primary",說明出現"分區"或是"split-brain"狀況.
節點狀態檢查:
wsrep_ready: 該值爲ON,則說明可以接受SQL負載.如果爲Off,則需要檢查wsrep_connected.
wsrep_connected: 如果該值爲Off,且wsrep_ready的值也爲Off,則說明該節點沒有連接到集羣.(可能是wsrep_cluster_address或wsrep_cluster_name等配置錯造成的.具體錯誤需要查看錯誤日誌)
wsrep_local_state_comment:如果wsrep_connected爲On,但wsrep_ready爲OFF,則可以從該項查看原因.
複製健康檢查:
wsrep_flow_control_paused:表示複製停止了多長時間.即表明集羣因爲Slave延遲而慢的程度.值爲0~1,越靠近0越好,值爲1表示複製完全停止.可優化wsrep_slave_threads的值來改善.
wsrep_cert_deps_distance:有多少事務可以並行應用處理.wsrep_slave_threads設置的值不應該高出該值太多.
wsrep_flow_control_sent:表示該節點已經停止複製了多少次.
wsrep_local_recv_queue_avg:表示slave事務隊列的平均長度.slave瓶頸的預兆.
最慢的節點的wsrep_flow_control_sent和wsrep_local_recv_queue_avg這兩個值最高.這兩個值較低的話,相對更好.
檢測慢網絡問題:
wsrep_local_send_queue_avg:網絡瓶頸的預兆.如果這個值比較高的話,可能存在網絡瓶
衝突或死鎖的數目:
wsrep_last_committed:最後提交的事務數目
wsrep_local_cert_failures和wsrep_local_bf_aborts:回滾,檢測到的衝突數目
MySQL Galera監控
查看MySQL版本: mysql>
SHOW GLOBAL VARIABLES LIKE 'version';
查看wsrep版本: mysql>
SHOW GLOBAL STATUS LIKE 'wsrep_provider_version';
查看wsrep有關的所有變量: mysql>
HOW VARIABLES LIKE 'wsrep%' \G
查看Galera集羣狀態: mysql>
show status like 'wsrep%';
其他相關
1.Galera Cluster部署的前置檢查
在要轉成Galera Cluster的數據庫上執行如下SQL語句:
SELECT DISTINCT
CONCAT(t.table_schema,'.',t.table_name) as tbl,
t.engine,
IF(ISNULL(c.constraint_name),'NOPK','') AS nopk,
IF(s.index_type = 'FULLTEXT','FULLTEXT','') as ftidx,
IF(s.index_type = 'SPATIAL','SPATIAL','') as gisidx
FROM information_schema.tables AS t
LEFT JOIN information_schema.key_column_usage AS c
ON (t.table_schema = c.constraint_schema AND t.table_name = c.table_name
AND c.constraint_name = 'PRIMARY')
LEFT JOIN information_schema.statistics AS s
ON (t.table_schema = s.table_schema AND t.table_name = s.table_name
AND s.index_type IN ('FULLTEXT','SPATIAL'))
WHERE t.table_schema NOT IN ('information_schema','performance_schema','mysql')
AND t.table_type = 'BASE TABLE'
AND (t.engine <> 'InnoDB' OR c.constraint_name IS NULL OR s.index_type IN ('FULLTEXT','SPATIAL'))
ORDER BY t.table_schema,t.table_name;
上述SQL檢索數據庫，輸出不符合使用Galera的表的信息，對應的5個字段順序爲：表，表引擎，是否無主鍵，是否有全文索引，是否有空間索引。
找到不符合的原因，對應修改即可。
配置高可用轉發，集羣升級到mmmnnn 模式
nginx配置如下：
upstream galera {
hash $remote_addr consistent;
server 172.16.6.11:13306; #galera集羣節點服務器
server 172.16.6.12:13306;
server 172.16.6.13:13306;
}
server {
listen 23306; #nginx 監聽端口
proxy_pass galera;
}
登陸數據庫：
mysql -h nginx轉發服務器IP -u dbuser -pdbpassword-P23306
參考文檔:
http://www.linuxidc.com/Linux/2016-01/127256.htm
http://blog.sina.com.cn/s/blog_704836f40101lixp.html
http://www.open-open.com/lib/view/open1435888783513.html
http://www.open-open.com/lib/view/open1418521886917.html