一、主從複製原理
1.1 基本介紹
MySQL 內建的複製功能是構建大型，高性能應用程序的基礎。將 MySQL 的 數億分佈到到多個系統上去，這種分步的機制，是通過將 MySQL 的某一臺主機的數據複製到其它主機( Slave )上，並重新執行一遍來實現的。複製過程中一個服務器充當主服務器，而一個或多個其它服務器充當從服務器。主服務器將更新寫入本地二進制日誌文件中，並維護文件的一個索引以跟蹤日誌循環。這些日誌可以記錄發送到從服務器的更新。當一個從服務器連接主服務器時，它通知主服務器從服務器在日誌中讀取的最後一次成功更新的位置，從服務器接收從那時起發生的任何更新，然後等待主服務器通知新的更新。
注意：當你配置主從複製後，所有對數據的更新必須在主服務器上進行。否則，你必須要小心，以避免用戶對主服務器上的表進行的更新與對從服務器上的表所進行的更新之間的衝突。
1.2 Mysql支持的複製類型
基於語句的複製: 在主服務器執行SQL語句，在從服務器執行同樣語句。MySQL默認採用基於語句的複製，效率較高。一旦發現沒法精確複製時, 會自動選基於行的複製。
基於行的複製: 把改變的內容複製過去，而不是把命令在從服務器上執行一遍. 從mysql5.0開始支持
混合類型的複製: 默認採用基於語句的複製，一旦發現基於語句的無法精確的複製時，就會採用基於行的複製。
1.3 主從複製的優點
在從服務器可以執行查詢工作(即我們常說的讀功能)，降低主服務器壓力;（主庫寫，從庫讀，降壓）
在從主服務器進行備份，避免備份期間影響主服務器服務;（確保數據安全）
當主服務器出現問題時，可以切換到從服務器。（提升性能）
1.3.1 主從複製解決的問題
- 數據分佈 (Data distribution )
- 負載平衡(load balancing)
- 據備份(Backups) ，保證數據安全
- 高可用性和容錯行(High availability and failover)
- 實現讀寫分離，緩解數據庫壓力
1.4 主從複製常用實現形式
一主多從複製架構
應用場景：
在主庫讀取請求壓力非常大的場景下，可以通過配置一主多從複製架構實現讀寫分離，把大量對實時性要求不是特別高的讀請求通過負載均衡調度到多個從庫上，降低主庫的讀取壓力。在主庫出現異常宕機的情況下，可以把一個從庫切換爲主庫繼續提供服務（主庫授權從庫遠程連接，讀取binlog日誌並更新到本地數據庫的過程；主庫寫數據後，從庫會自動同步過來（從庫跟着主庫變））
注意事項：
當 Slave 增加到一定數量時，Slave 對 Master 的負載以及網絡帶寬都會成爲一個嚴重的問題。
不同的 Slave 扮演不同的作用(例如使用不同的索引，或者不同的存儲引擎)
用一個 Slave 作爲備用 Master，只進行復制
用一個遠程的 Slave，用於災難恢復。
多級複製架構
應用場景：
一主多從的架構能夠解決大部分讀請求壓力特別大的場景需求，但主庫的I/O壓力和網絡壓力會隨着從庫的增加而增長，而使用多級複製架構就可以解決一主多從場景下，主庫額外的I/O和網絡壓力。 但要注意的是，多級複製場景下主庫的數據是經歷兩次纔到達讀取的從庫，期間的延時比一主多從複製場景下只經歷一次複製的要大
注意事項：
可能存在延時較長的風險
這種方案可以與第三方軟件結合使用，例如Slave+LVS+Keepalived 實現高可用。
雙主複製架構
應用場景：
雙主/Dual Master架構適用於寫壓力比較大的場景，或者DBA做維護需要主從切換的場景，通過雙主/Dual master架構避免了重複搭建從庫的麻煩；（主從相互授權連接，讀取對方binlog日誌並更新到本地數據庫的過程；只要對方數據改變，自己就跟着改變）
注意事項：
最大問題就是更新衝突。
可以採用MySQL Cluster，以及將Cluster和Replication結合起來，可以建立強大的高性能的數據庫平臺
1.5 主從複製工作原理
主庫開啓binlog功能並授權從庫連接主庫，從庫通過change master得到主庫的相關同步信息,然後連接主庫進行驗證，主庫IO線程根據從庫slave線程的請求，從master.info開始記錄的位置點向下開始取信息，同時把取到的位置點和最新的位置與binlog信息一同發給從庫IO線程，從庫將相關的sql語句存放在relay-log裏面，最終從庫的sql線程將relay-log裏的sql語句應用到從庫上，至此整個同步過程完成，之後將是無限重複上述過程
需要理解
從庫會生成兩個線程,一個I/O線程,一個SQL線程;
I/O線程會去請求主庫的binlog,並將得到的binlog寫到本地的relay-log(中繼日誌)文件中;
主庫會生成一個log dump線程,用來給從庫I/O線程傳binlog;
SQL線程,會讀取relay log文件中的日誌,並解析成sql語句逐一執行;
注意幾點問題：
master將操作語句記錄到binlog日誌中，然後授予slave遠程連接的權限（master要開啓binlog二進制日誌功能；通常爲了數據安全考慮，slave也開啓binlog）;
slave開啓兩個線程：IO線程和SQL線程。其中：IO線程負責讀取master的binlog內容到中繼日誌relay log裏；SQL線程負責從relay log日誌裏讀出binlog內容，並更新到slave的數據庫裏，這樣就能保證slave數據和master數據保持一致了;
mysql複製至少需要兩個Mysql的服務，當然Mysql服務可以分佈在不同的服務器上，也可以在一臺服務器上啓動多個服務;
mysql複製最好確保master和slave服務器上的Mysql版本相同（如果不能滿足版本一致，那麼要保證master主節點的版本低於slave從節點的版本）;
master和slave兩節點間時間需同步;
大致可以簡單分爲以下三步：
第一步：master在每個事務更新數據完成之前，將該操作記錄串行地寫入到binlog文件中。
第二步：salve開啓一個I/O Thread，該線程在master打開一個普通連接，主要工作是binlog dump process。如果讀取的進度已經跟上了master，就進入睡眠狀態並等待master產生新的事件。I/O線程最終的目的是將這些事件寫入到中繼日誌中。
第三步：SQL Thread會讀取中繼日誌，並順序執行該日誌中的SQL事件，從而與主數據庫中的數據保持一致。
細節說明：
- Mysql複製過程的第一部分就是master記錄二進制日誌。在每個事務更新數據完成之前，master在二日誌記錄這些改變。MySQL將事務串行的寫入二進制日誌，即使事務中的 語句都是交叉執行的。在事件寫入二進制日誌完成後，master通知存儲引擎提交事務; - 第二部分就是slave將master的binary log拷貝到它自己的中繼日誌。首先，slave開始一個工作線程(I/O線程)。I/O線程在master上打開一個普通的連接，然後開始binlog dump process。Binlog dump process從master的二進制日誌中讀取事件，如果已經跟上master，它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日誌;
- SQL slave thread（SQL從線程）處理該過程的最後一步。SQL線程從中繼日誌讀取事件，並重放其中的事件而更新slave的數據，使其與master中的數據一致。只要該線程與 I/O線程保持一致，中繼日誌通常會位於OS的緩存中，所以中繼日誌的開銷很小;
- 此外，在master中也有一個工作線程：和其它MySQL的連接一樣，slave在master中打開一個連接也會使得master開始一個線程。複製過程有一個很重要的限制, 即複製在slave上是串行化的，也就是說master上的並行更新操作不能在slave上並行操作。
二、mysql主從配置實戰
2.1 配置簡易實現步驟
主服務器：
- 開啓二進制日誌 功能
- 配置唯一的server-id
- 獲得master二進制日誌文件名及位置
- 創建一個用於slave和master通信的用戶賬號
從服務器：
- 配置唯一的server-id
- 使用master分配的用戶賬號讀取master二進制日誌
- 啓用slave服務
2.2 配置注意事項
每個 Slave 只能有一個 Master；
每個 Slave 只能有一個唯一的服務器ID；
每個 Master 可以有很多 Slave;
如果你設置了 log_slave_updates，Slave 可以是其他 Slave 的 Master，從而擴散 Master 的更新
MySQL 不支持多主服務器複製—即一個 Slave 可以有多個 Master，但是，通過一些簡單的組合，我們卻可以建立靈活而強大的複製體系結構。
- 複製時，主庫有一個I/O線程，從庫有兩個線程，I/O和SQL線程
- 實現主從複製的必要條件是主庫要開啓記錄binlog功能
- binlog文件只記錄對數據庫有更改的SQL語句（來自主庫內容的變更），不記錄任何查詢（select，show）語句
2.3 主從環境介紹
數據庫角色 | IP | 應用和系統 | 有無數據 |
Master數據庫 | 192.168.2.221 | Centos7.3+mariadb5.5.56 | 有 |
Slave數據庫 | 192.168.2.222 | Centos7.3+mariadb5.5.56 | 無 |
我這裏mariadb使用yum直接安裝了
主服務器操作：
①使用yum安裝mariadb-server軟件包，關閉防火牆和selinux
[root@master /]# systemctl stop pfirewalld [root@master /]# setenforce 0 [root@master /]# yum install -y mariadb-server
②修改mariadb配置文件，開啓二進制日誌功能，配置一個server-id並啓動mariadb服務
[root@master /]# vim /etc/my.cnf -----------------------------修改添加以下內容------------------------- [mysqld] .....省略 log-bin=bin-log ##開啓二進制日誌功能 server-id=11 ##設置server-id所有主從服務器要唯一 innodb-file-per-table=ON skip-name-resolve=ON [root@master /]# systemctl restart mariadb
③創建slave通信用戶，創建ceshi數據庫並將mysql庫的數據備份後導入到ceshi數據庫
[root@master /]# mysql MariaDB [(none)]> grant replication slave on *.* to 'repl'@'192.168.2.222' identified by 'replication'; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> flush privileges; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> create database ceshi; Query OK, 1 row affected (0.00 sec) [root@master /]# mysqldump -uroot -p mysql > /mysql.sql [root@master /]# cat /mysql.sql | mysql -uroot -p ceshi
④登錄myslq數據庫，查看master的binlog日誌文件名和pos-id
[root@master /]# mysql MariaDB [ceshi]> show master status; +----------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +----------------+----------+--------------+------------------+ | bin-log.000003 | 514412 | | | +----------------+----------+--------------+------------------+ 1 row in set (0.00 sec)
從服務器操作：
①使用yum安裝mariadb-server軟件包，關閉防火牆和selinux
[root@slave /]# systemctl stop pfirewalld [root@slave /]# setenforce 0 [root@slave /]# yum install -y mariadb-server
②修改mariadb配置文件，開啓中繼日誌功能，配置一個server-id並啓動mariadb服務
[root@slave /]# vim /etc/my.cnf -----------------------------修改添加以下內容------------------------- [mysqld] .....省略 relay-log=relay-log ##開啓中繼日誌功能 server-id=22 ##設置slave的serverid innodb-file-per-table=ON skip-name-resolve=ON [root@slave /]# systemctl restart mariadb
③創建ceshi數據庫，將ceshi數據庫的全量備份文件複製到本地並導入到ceshi數據庫
[root@slave /]# mysql MariaDB [(none)]> create database ceshi; Query OK, 1 row affected (0.00 sec) [root@slave /]# scp 192.168.2.221:/mysql.sql / [root@slave /]# cat mysql.sql | mysql -uroot -p ceshi
④配置master的讀取binlog信息配置，啓動slave進程並查看slave狀態
MariaDB [ceshi]> change master to -> master_host='192.168.2.221', -> master_user='repl', -> master_password='replication', -> master_log_file='bin-log.000003', -> master_log_pos=514412; Query OK, 0 rows affected (0.32 sec) MariaDB [ceshi]> start slave; Query OK, 0 rows affected (0.01 sec) MariaDB [ceshi]> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 192.168.2.221 Master_User: repl Master_Port: 3306 Connect_Retry: 60 Master_Log_File: bin-log.000003 Read_Master_Log_Pos: 514412 Relay_Log_File: relay-log.000002 Relay_Log_Pos: 527 Relay_Master_Log_File: bin-log.000003 Slave_IO_Running: Yes ##此處兩個yes代表slave配置同步成功 Slave_SQL_Running: Yes ##此處兩個yes代表slave配置同步成功 Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 514412 Relay_Log_Space: 815 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 11 1 row in set (0.00 sec)
選項說明：
master_host：Master 服務器IP
master_user：Master 服務器授權用戶，也就是 Master 前面創建的那個用戶
master_password：Master 服務器授權用戶對應的密碼
master_log_file：Master binlog 文件名
master_log_pos：Master binlog 文件中的 Postion 值
⑤測試，在master數據庫中執行sql語句操作，觀察slave是否同步，如果同步則說明配置成功
注意事項：
主庫和從庫的數據庫名必須相同；
主庫和從庫的複製可以精確到表，但是在需要更改主庫或從庫的數據結構時需要立刻重啓slave；
不能在mysql配置文件裏直接寫入master的配置信息，需要用change master命令來完成；
指定replicate_do_db必須在my.cnf裏配置，不能用change master命令來完成；
如果不及時清理，日積月累二進制日誌文件可能會把磁盤空間佔滿，可以在配置文件里加上expire_logs_days=7，只保留最近7天的日誌，建議當slave不再使用時，通過reset slave來取消relaylog；
寫一個監控腳本，用來監控 Slave 中的兩個"yes"，如果只有一個"yes"或者零個，就表明主從有問題。
2.3 主從複製常用的幾個配置選項
binlog_do_db="***,***,***"; #數據庫白名單列表,二進制日誌記錄的數據庫（多數據庫用逗號隔開或重複設置多行）,即需要同步的庫.不在內的不同步。（不添加這行表示同步所有） binlog_ingore_db="***,***,***"; #數據庫黑名單列表, 二進制日誌中忽略的數據庫 （多數據庫用逗號隔開或重複設置多行）,即不需要同步,要過濾掉的庫. 從服務器上配置： replicate_do_db ="webdb"; #複製庫的白名單. 設定需要複製的數據庫（多數據庫使用逗號隔開或重複設置多行） replicate_ingore_db ="mysql"; #複製庫的黑名單. 設定需要忽略的複製數據庫 （多數據庫使用逗號隔開或重複設置多行） replicate_do_table="webdb.user"; #複製表的白名單. 設定需要複製的表（多數據庫使用逗號隔開或重複設置多行） relicate_ingore_table="webdb.uw"; #複製表的黑名單. 設定需要忽略的複製的表（多數據庫使用逗號隔開或重複設置多行） expire_logs_days=14 #設置log保存的時長 log-slave-updates ##可以成鏈式複製（主---> 從（主）--->從） replicate-wild-do-table #同replication-do-table功能一樣，但是可以通配符. 更高級別的應用，通配符,應用到哪一類表的。 replicate-wild-ignore-table #同replication-ignore-table功能一樣，但是可以加通配符. replicate-wild-do-table=webdb.% #只複製webdb庫下的所有表 replicate-wild-ignore-table=mysql.% #忽略mysql庫下的所有表
注意：這些參數默認是沒有配置的，沒有手動配置，那默認是同步所有的庫