Mysql之一主多從複製

MySQL主從複製

簡介

將master數據庫中的DDL和DML操作通過二進制日誌（BINLOG）傳輸到slave數據庫上，然後將這些日誌重新執行（重做）；從而使得slave數據庫的數據與master數據庫保持一致。

MySQL數據庫自身提供的主從複製功能可以方便的實現數據的多處自動備份，實現數據庫的拓展。多個數據備份不僅可以加強數據的安全性，通過實現讀寫分離還能進一步提升數據庫的負載性能。

目錄

一、主從原理

1.1 主從複製基本原理

1.2 主從複製原理運行流程

二、主從用途

2.1 主從複製的形式選擇

2.2 主從複製的作用

三、主從配置

3.1 主從複製環境準備，安裝數據庫

3.2 一主多從配置文件

3.3 驗證一主多從同步

四、常見問題

4.1 Slave_IO_Running: NO

4.2 Slave_SQL_Running: NO

4.3 mysql主從複製存在的問題

一、主從原理

Binary log：主數據庫的二進制日誌

Relay log：從服務器的中繼日誌

1.1 主從複製基本原理：

從庫生成兩個線程，一個I/O線程，一個SQL線程；i/o線程去請求主庫 的binlog，並將得到的binlog日誌寫到relay log（中繼日誌） 文件中；主庫會生成一個 log dump 線程，用來給從庫 i/o線程傳binlog；SQL 線程，會讀取relay log文件中的日誌，並解析成具體操作，來實現主從的操作一致，而最終數據一致；

1.2 主從複製原理運行流程：

    1> master在每個事務更新數據完成之前，將該操作記錄串行地寫入到binlog文件中;

    2> slave開啓一個I/O Thread，該線程在master打開一個普通連接，主要工作是binlog dump process。如果讀取的進度已經跟上了master，就進入睡眠狀態並等待master產生新的事件。I/O線程最終的目的是將這些事件寫入到中繼日誌中;

    3> SQL Thread會讀取中繼日誌，並順序執行該日誌中的SQL事件，從而與主數據庫中的數據保持一致;

二、主從形式與用途

2.1 主從形式

Mysql主從複製比較靈活，形式多種

v一主一從

v主主複製(互爲主從)

v一主多從(常用於擴展系統讀取性能,因爲讀是在從庫讀取的)

v多主一從(5.7開始支持)

v聯級複製

聯級複製就是master服務器，只給一臺slave服務器同步數據，然後slave服務器在向後端的所有slave服務器同步數據，降低master服務器的寫壓力，和複製數據的網絡IO。

2.2 主從用途

    v實時災備，用於故障切換，主數據庫出現問題，可以切換到從數據庫

    v讀寫分離，提供查詢服務

    v數據備份，避免影響業務

三、主從配置

3.1 環境準備

OS：centos7.2

Mysql：5.6

防火牆、selinux：關閉

Mysql安裝方式：Yum

部署環境 ---> 一主多從

Master:192.168.174.164

Slave1:192.168.174.132

Slave2:192.168.174.133

3.1.1 安裝Mysql

主從安裝方式一致

3.1.2 安裝一些常用linux工具

yum -y install wget vim net-tools

3.1.3 下載Mysql5.6的yum源

wget http://dev.mysql.com/get/mysql-community-release-el7-5noarch.rpm

rpm -ivh mysql-community-release-el7-5.noarch.rpm

3.1.4 yum安裝Mysql服務並啓動

yum -y install mysql-community-server

service mysqld start

netstat -anptl|grep 3306
tcp6  0  0 :::3306       :::*    LISTEN      1248/mysqld

3.1.5 更改數據庫密碼，驗證是否能正常登陸

mysql -uroot -e "set password for 'root'@'localhost'=password('123456');"

mysql -uroot -p123456

3.2 一主多從複製

3.2.1 數據庫配置文件

Master：

# vim /etc/my.cnf

log-bin=mysql-bin 
binlog-format = mixed
server-id = 1
relay-log =relay-bin
relay-log-index = slave-relay-bin.index

Slave1：

# vim /etc/my.cnf
 
log-bin=mysql-bin  
binlog-format = mixed
server-id = 2
relay-log =relay-bin
relay-log-index = slave-relay-bin.index

Slave2：

# vim /etc/my.cnf
 
log-bin=mysql-bin
binlog-format = mixed
server-id = 3
relay-log =relay-bin
relay-log-index = slave-relay-bin.index

備註：修改完配置文件後重啓服務：systemctl restart mysqld

Mysql配置文件詳情請參考以下地址：

http://blog.51cto.com/13266497/2150082

3.2.2 數據庫一主多從操作

Master:

1> 授權用戶相應權限

mysql> grant replication slave on *.* to 'lxq'@'192.168.174.%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)

 

2> 查看master狀態值，用於slave庫上同步

mysql> show master status\G;
*************************** 1. row ***************************
              File: mysql-bin.000001
       Position: 329
     Binlog_Do_DB:
     Binlog_Ignore_DB:
     Executed_Gtid_Set:
1 row in set (0.00 sec)

 

 

Slave1：

1> 使用change master語句，確定master庫的ip、用戶、密碼等信息

mysql> change master to
    -> master_host='192.168.174.164',
    -> master_user='lxq',
    -> master_password='123456',
    -> master_log_file='mysql-bin.000001', 
    -> master_log_pos=329;
Query OK, 0 rows affected, 2 warnings (0.00 sec)

以下兩項是從master status中獲取的File和Position與下列相對應

master_log_file='mysql-bin.000001'

master_log_pos=329

 

 

2> 開啓同步

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

 

3> 驗證Slave_IO_Running、Slave_SQL_Running是否是YES，兩個都是YES表示mysql主從複製配置成功了。

mysql> show slave status\G;
*************************** 1. row ***************************
      Slave_IO_State: Waiting for master to send event
        Master_Host: 192.168.174.164
        Master_User: lxq
        Master_Port: 3306
       Connect_Retry: 60
      Master_Log_File: mysql-bin.000001
    Read_Master_Log_Pos: 329
       Relay_Log_File: relay-bin.000002
       Relay_Log_Pos: 283
   Relay_Master_Log_File: mysql-bin.000001
      Slave_IO_Running: Yes
     Slave_SQL_Running: Yes

Slave_IO_Running: Yes(負責從庫去主庫讀取二進制日誌，並寫入到從庫的中繼日誌)

Slave_SQL_Running: Yes(負責將中繼日誌準換成SQL語句後執行)

備註：Slave2庫重複一下Slave1的操作即可完成一主多從

 

3.3 驗證能否成功同步

測試主從是否同步（master數據庫上執行Sql、Slave上面去驗證）

Master:

mysql> create database lxqdb;

mysql> create table lxqdb.lxq(id int,name varchar(50),sex varchar(10));

mysql> insert into lxqdb.lxq(id,name,sex) values (1,'lxq','male');

Slave:

mysql> show databases;
+--------------------+
| Database     |
+--------------------+
| information_schema|
| lxqdb       |
| mysql       |
| performance_schema|
+--------------------+
4 rows in set (0.01 sec)

mysql> select * from lxqdb.lxq;
+------+------+------+
| id | name| sex |
+------+------+------+
| 1  | lxq | male|
+------+------+------+
1 row in set (0.00 sec)

一、常見問題

4.1 Slave_IO_Running: NO

一般的原因是：

    1> master服務器的網絡不通，或者master服務器的防火牆拒絕了外部連接3306端口,selinux模式選擇都可能會影響結果。

    2> 在配置slave服務器時，使用chage master語句時輸錯了ip地址和密碼等信息。

    3> 在master主服務器授權了錯誤的IP地址，權限。

解決方法：

   關閉防火牆或開通3306的訪問權限，selinux設置爲disabled;

   slave的服務器上使用master授權用戶登陸一下master數據庫確保授權和slave地址能夠訪問，最後slave庫檢查一下change master語句是否有誤;

4.2 Slave_SQL_Running: No

mysql同步故障原因：

    1> 程序可能在slave上進行了寫操作

    2> 也可能是slave機器重起後，事務回滾造成的.

一般是事務回滾造成

解決方法1：

mysql> stop slave;

mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;

mysql> start start;

備註：不一定會生效，操作兩次不生效後，選擇第二種方法

解決方法2：

mysql> stop slave;  

mysql> show master status;

master服務器上查看主機狀態,記錄File和Position對應的值，然後到slave服務器上執行手動同步(change master語句)，參考同步時使用的語句。

備註：強制從某一個點同步，這種方法會停掉master寫操作，會丟失部分沒有同步的數據，不影響使用。

 

4.3 mysql主從複製存在的問題

    1> 主庫宕機後，數據可能丟失

    2> 從庫只有一個sql Thread，主庫寫壓力大，複製很可能延時

解決方法：

    半同步複製---解決數據丟失的問題

    異行復制----解決從庫複製延遲的問題

v全同步複製

全同步複製，當主庫提交事務之後，所有的從庫節點必須收到、APPLY並且提交這些事務，然後主庫線程才能繼續做後續操作。但缺點是，主庫完成一個事務的時間會被拉長，性能降低。

v異步複製

異步複製，主庫將事務 Binlog 事件寫入到 Binlog 文件中，此時主庫只會通知一下 Dump 線程發送這些新的 Binlog，然後主庫就會繼續處理提交操作，而此時不會保證這些 Binlog 傳到任何一個從庫節點上。

v半步複製

半同步複製的原理是，一個事務在主服務器上執行完成後，必須至少確保至少在一臺從服務器上執行完成後，事務纔算提交成功。

主庫寫入一個事務commit提交併執行完之後，並不直接將請求反饋給前端應用用戶，而是等待從庫也接收到binlog日誌併成功寫入中繼日誌後，主庫才返回commit操作成功給客戶端。半同步複製保障了事物執行後，至少有兩份日誌記錄，一份在主庫的binlog上 ，另一份至少在從庫的中繼日誌Relay log上，這樣就極大的保證了數據的一致性。