mysql主從複製原理:
Mysql內建的複製功能是構建大型,高性能應用程序的基礎。將Mysql的數據分佈到多個系統上去,這種分佈的機制,是通過將Mysql的某一臺主機的數據複製到其它主機(slaves)上,並重新執行一遍來實現的。複製過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。主服務器將更新寫入二進制日誌文件,並維護文件的一個索引以跟蹤日誌循環。這些日誌可以記錄發送到從服務器的更新。當一個從服務器連接主服務器時,它通知主服務器從服務器在日誌中讀取的最後一次成功更新的位置。從服務器接收從那時起發生的任何更新,然後封鎖並等待主服務器通知新的更新。
請注意當你進行復制時,所有對複製中的表的更新必須在主服務器上進行。否則,你必須要小心,以避免用戶對主服務器上的表進行的更新與對從服務器上的表所進行的更新之間的衝突。
1.1 mysql支持的複製類型:
(1):基於語句的複製: 在主服務器上執行的SQL語句,在從服務器上執行同樣的語句。MySQL默認採用基於語句的複製,效率比較高。
一旦發現沒法精確複製時, 會自動選着基於行的複製。
(2):基於行的複製:把改變的內容複製過去,而不是把命令在從服務器上執行一遍. 從mysql5.0開始支持
(3):混合類型的複製: 默認採用基於語句的複製,一旦發現基於語句的無法精確的複製時,就會採用基於行的複製。
1.2 . 複製解決的問題
MySQL複製技術有以下一些特點:
(1) 數據分佈 (Data distribution )
(2) 負載平衡(load balancing)
(3) 備份(Backups)
(4) 高可用性和容錯行 High availability and failover
1.3 複製如何工作
整體上來說,複製有3個步驟:
(1) master將改變記錄到二進制日誌(binary log)中(這些記錄叫做二進制日誌事件,binary log events);
(2) slave將master的binary log events拷貝到它的中繼日誌(relay log);
(3) slave重做中繼日誌中的事件,將改變反映它自己的數據。
該過程的第一部分就是master記錄二進制日誌。在每個事務更新數據完成之前,master在二日誌記錄這些改變。MySQL將事務串行的寫入二進制日誌,即使事務中的語句都是交叉執行的。在事件寫入二進制日誌完成後,master通知存儲引擎提交事務。
下一步就是slave將master的binary log拷貝到它自己的中繼日誌。首先,slave開始一個工作線程——I/O線程。I/O線程在master上打開一個普通的連接,然後開始binlog dump process。Binlog dump process從master的二進制日誌中讀取事件,如果已經跟上master,它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日誌。
SQL slave thread(SQL從線程)處理該過程的最後一步。SQL線程從中繼日誌讀取事件,並重放其中的事件而更新slave的數據,使其與master中的數據一致。只要該線程與I/O線程保持一致,中繼日誌通常會位於OS的緩存中,所以中繼日誌的開銷很小。
此外,在master中也有一個工作線程:和其它MySQL的連接一樣,slave在master中打開一個連接也會使得master開始一個線程。複製過程有一個很重要的限制——複製在slave上是串行化的,也就是說master上的並行更新操作不能在slave上並行操作。
數據庫的複製的特點:
特點:異步,結果最終一致,由網絡IO延遲決定。
注意:主服務器的版本一定要比從服務器版本低或者一樣,如果做主主複製,兩者版本必須一樣。
mysql主從複製配置,步驟如下:
1、主從服務器分別作以下操作:
1.1、版本一致或者主比從版本低
1.2、初始化表,並在後臺啓動mysql
1.3、修改root的密碼
2、修改主服務器master:
#vi /etc/my.cnf
[mysqld]
log-bin=mysql-bin //[必須]啓用二進制日誌
server-id=2 //[必須]服務器唯一ID,默認是1
binlog-do-db=wordpress是表示只備份wordpress。
binlog_ignore_db=mysql表示忽略備份mysql。
不加binlog-do-db和binlog_ignore_db,那就表示備份全部數據庫。
log-slave-updates //把更新的記錄寫到二進制文件中;
slave-skip-errors //跳過錯誤,繼續執行復制;
3、修改從服務器slave:
#vi /etc/my.cnf
[mysqld]
relay-log=relay-bin //[必須]啓用中繼日誌
server-id=3 //[必須]服務器唯一ID,默認是1
log-bin=mysql-bin //如果從服務器不做其他服務器的主mysql,可以不用啓用
4、重啓兩臺服務器的mysql
/etc/init.d/mysql restart
5、在主服務器上建立帳戶並授權slave:
#/usr/local/mysql/bin/mysql -uroot -psongming
mysql>GRANT REPLICATION SLAVE ON *.* to 'copy'@'%' identified by 'passwd'; //一般不用root帳號,“%”表示所有客戶端都可能連,一般爲slave 內網ip地址,只要帳號,密碼正確,此處可用具體客戶端IP代替,如192.168.145.226,加強安全。
flush privileges;
6、登錄主服務器的mysql,查詢master的狀態(主服務器一個線程:dump )
mysql>show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000004 | 308 | | |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)
注:執行完此步驟後不要再操作主服務器MYSQL,防止主服務器狀態值變化
7、配置從服務器Slave:(從服務器兩個線程)
mysql>change master to master_host='master_ip',master_user='copy',master_password='passwd',
master_log_file='mysql-bin.,000004',master_log_pos=308; //注意不要斷開,“308”無單引號。如果是主是新的mysql,則後面兩項不用加。
Mysql>start slave; //啓動從服務器複製功能
8、檢查從服務器複製功能狀態:
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.2.222 //主服務器地址
Master_User: copy //授權帳戶名,儘量避免使用root
Master_Port: 3306 //數據庫端口,部分版本沒有此行
Connect_Retry: 60
Master_Log_File: mysql-bin.000004
Read_Master_Log_Pos: 600 //#同步讀取二進制日誌的位置,大於等於>=Exec_Master_Log_Pos
Relay_Log_File: ddte-relay-bin.000003
Relay_Log_Pos: 251
Relay_Master_Log_File: mysql-bin.000004
Slave_IO_Running: Yes //此狀態必須YES
Slave_SQL_Running: Yes //此狀態必須YES
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 189874339
Relay_Log_Space: 189874686
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0#複製延遲時間
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 20
1 row in set (0.00 sec)
注:Slave_IO及Slave_SQL進程必須正常運行,即YES狀態,否則都是錯誤的狀態(如:其中一個NO均屬錯誤)。
以上操作過程,主從服務器配置完成。
9、主從服務器測試:
主服務器Mysql,建立數據庫,並在這個庫中建表插入一條數據,在從服務器能看到新加的數據庫及記錄,就代表已經成功了。
10、完成:
編寫一shell腳本,用nagios監控slave的兩個“yes”,如發現只有一個或零個“yes”,就表明主從有問題了,發短信警報吧。
腳本例子:
#!/bin/bash
declare -a slave_is #聲明一個數組
slave_is=($(cd /usr/local/nagios; /usr/local/mysqlec/bin/mysql -uuser -ppasswd -e "show slave status \G"|grep Running |awk '{print $2}'))
if [ "${slave_is[0]}" = "Yes" -a "${slave_is[1]}" = "Yes" ]
then
echo "OK -EC slave is running"
exit 0
else
echo "Critical -EC slave is error"
exit 2
fi
常見錯誤:
如果是slave_io_running no了,那麼就我個人看有三種情況,一個是網絡有問題,連接不上,像有一次我用虛擬機搭建replication,使用了nat的網絡結構,就是死都連不上,第二個是有可能my.cnf有問題。最後一個是授權的問題,replication slave和file權限是必須的。