Mysql主主備份(master-master)+Mysql主從熱備(master-slave)

設備環境

Master-A:192.168.15.233

Master-B:192.168.15.235

u master服務器上授權用戶

Master-A

mysql> grant replication slave,file on *.* to 'repl'@'192.168.15.235' identified by 'repl';

Master-B

mysql> grant replication slave,file on *.* to 'repl'@'192.168.15.233' identified by 'repl';

u 配置master的my.cf文件

配置master-A的my.cf文件

server-id = 1

log-bin=mysql-bin

binlog-do-db=mobi

binlog-ignore-db=mysql

binlog-ignore-db=test

log-slave-updates

slave-skip-errors

sync_binlog=1
auto_increment_increment=2
auto_increment_offset=1

配置master-B的my.cf文件

server-id = 2

log-bin=mysql-bin

binlog-do-db=mobi

binlog-ignore-db=mysql

binlog-ignore-db=test

log-slave-updates

slave-skip-errors

sync_binlog=1
auto_increment_increment=2
auto_increment_offset=2

參數說明:

多主互備和主從複製有一些區別,因爲多主中 都可以對服務器有寫權限,所以設計到自增長重複問題

出現的問題(多主自增長ID重複)

1:首先我們通過A,B的test表結構

2:掉A,在B上對數據表test(存在自增長ID)執行插入操作,返回插入ID爲1

3:後停掉B,在A上對數據表test(存在自增長ID)執行插入操作,返回的插入ID也是1

4:然後 我們同時啓動A,B,就會出現主鍵ID重複

解決方法:

我們只要保證兩臺服務器上插入的自增長數據不同就可以了

如:A查奇數ID,B插偶數ID,當然如果服務器多的話,你可以定義算法,只要不同就可以了

在這裏我們在A,B上加入參數,以實現奇偶插入

A:my.ini上加入參數

auto_increment_offset = 1

auto_increment_increment = 2

這樣A的auto_increment字段產生的數值是:1, 3, 5, 7, …等奇數ID了

B:my.ini上加入參數

auto_increment_offset = 2

auto_increment_increment = 2

這樣B的auto_increment字段產生的數值是:2, 4, 6, 8, …等偶數ID了

可以看出,你的auto_increment字段在不同的服務器之間絕對不會重複,所以Master-Master結構就沒有任何問題了。當然,你還可以使用3臺,4臺,或者N臺服務器,只要保證auto_increment_increment = N 再設置一下auto_increment_offset爲適當的初始值就可以了,那樣,我們的MySQL可以同時有幾十臺主服務器,而不會出現自增長ID重複。

在這裏我們說的是2臺MYSQL服務器,你也可以擴展到多臺,實現方法類似

A -> B -> C-> D ->A

這樣一個環形的備份結構就形成了,最後可要記住 自增長ID(主鍵)要設計好哦,否則會出錯的。

u master-A 和master-B鎖表庫

mysql> flush tables with read lock\G (鎖庫表)

master-A 和master-B下分別顯示庫信息

master-A:

mysql> show master status;

+------------------+----------+--------------+------------------+

| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+------------------+----------+--------------+------------------+

| mysql-bin.000003 | 180 | | |

+------------------+----------+--------------+------------------+

1 row in set (0.00 sec)

master-B:

mysql> show master status;

+------------------+----------+--------------+------------------+

| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+------------------+----------+--------------+------------------+

| mysql-bin.000002 | 189| | |

+------------------+----------+--------------+------------------+

u 設置master change to

設置連接MASTER MASTER_LOG_FILE爲對方庫的File,MASTER_LOG_POS爲對方庫的Position

master-A:

------------------------------

mysql> slave stop;

mysql> change master to

-> master_host='192.168.15.233',

-> master_user='repl,

-> master_password='repl',

-> master_log_file=' mysql-bin.000002',

-> master_log_pos=189;

mysql> slave start;

master-B:

mysql> slave stop;

mysql> change master to

-> master_host='192.168.15.253',

-> master_user='repl,

-> master_password='repl',

-> master_log_file=' mysql-bin.000002',

-> master_log_pos=189;

mysql> slave start;

測試完成!

 

Mysql主從熱備(master-slave)

u       設備環境

Master:192.168.15.233

Slave:192.168.15.235

u       mysql主服務器(master)配置

編輯配置文件/etc/my.cnf

server-id = 1

log-bin=mysql-bin

binlog-do-db=mobi   

#需要備份的數據庫名,如果備份多個數據庫,重複設置這個選項即可

binlog-ignore-db=mysql 

#不需要備份的數據庫名,如果備份多個數據庫,重複設置這個選項即可

binlog-ignore-db=test 

log-slave-updates

#這個參數一定要加上,否則不會給更新的記錄些到二進制文件裏

slave-skip-errors

#是跳過錯誤,繼續執行復制操作

(注:其他的一些參數需自行根據現實條件優化)

授權用戶

mysql> grant replication slave,file on *.* to 'repl'@'192.168.15.235' identified by 'repl';

可在Slave上做連接測試: mysql -h 192.168.0.1 -u repl –prepl

(注:可連接,但僅有備份權限)

備份錢鎖住master庫表:

mysql> FLUSH TABLES WITH READ LOCK;

顯示主庫信息

記錄File和Position,從庫設置將會用到

mysql> show master status;

+------------------+----------+--------------+------------------+

| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+------------------+----------+--------------+------------------+

| mysql-bin.000003 |      180 |              |            |

+------------------+----------+--------------+------------------+

1 row in set (0.00 sec)

u       Mysql 從服務器(slave)配置

注:雙機備份要保持兩臺數據結構一致,最好全部一致,可以打包主的數據庫傳到從的機器上保持數據庫的一致性

tar -zcvf mobi.tar.gz mobi (master上的操作)

scp -r -p 192.168.15.233:/usr/local/mysql/var/mobi.tar.gz /usr/local/mysql/var/

注意權限問題 (chown -R mysql:mysql var)

編輯/etc/my.cnf

binlog-do-db=mobi

binlog-ignore-db=mysql

binlog-ignore-db=test

log-slave-updates

slave-skip-errors

master-connect-retry=60 #如果從服務器發現主服務器斷掉,重新連接的時間差(秒)

設置連接MASTER MASTER_LOG_FILE爲主庫的File,MASTER_LOG_POS爲主庫的Position

============================

mysql> slave stop;

mysql> change master to

    -> master_host='192.168.15.233',

    -> master_user='repl,

    -> master_password='repl',

    -> master_log_file=' mysql-bin.000003',

-> master_log_pos=180;

mysql> slave start;

解鎖主數據庫表

mysql> UNLOCK TABLES;

操作完畢

u       測試雙機熱備

Slave數據庫

mysql> show slave status\G

  Slave_IO_Running: Yes

  Slave_SQL_Running: Yes

此兩項線程顯示爲yes則正常!

u       常見問題彙總

在從服務器上使用show slave status\G
Slave_IO_Running,爲No,

tail -f /var/log/mysqld.log顯示

110426 10:36:27 [ERROR] Error reading packet from server: Could not find first log file name in binary log index file ( server_errno=1236)

110426 10:36:27 [ERROR] Got fatal error 1236: 'Could not find first log file name in binary log index file' from master when reading data from binary log

………………………………………………………………….

master數據上執行:mysql> show master status;

可以看出slave數據庫讀取了錯誤的log文件

最有效的辦法就是重啓master數據庫,查看最新二進制log文件,然後鎖定庫表,在slave上執行change master to……

網上搜取的經典錯誤彙總,感覺很全(個人比較懶,所以就cp上了)

附:一些錯誤信息的處理,主從服務器上的命令,及狀態信息。
在從服務器上使用show slave status\G
Slave_IO_Running,爲No,
則說明IO_THREAD沒有啓動,請執行start slave io_thread
Slave_SQL_Running爲No
則複製出錯,查看Last_error字段排除錯誤後執行start slave sql_thread
查看Slave_IO_State字段空 //複製沒有啓動
Connecting to master//沒有連接上master
Waiting for master to send event//已經連上
主服務器上的相關命令:
show master status
show slave hosts
show logs
show binlog events
purge logs to 'log_name'
purge logs before 'date'
reset master(老版本flush master)
set sql_log_bin=

從服務器上的相關命令:
slave start
slave stop
SLAVE STOP IO_THREAD //此線程把master段的日誌寫到本地
SLAVE start IO_THREAD
SLAVE STOP SQL_THREAD //此線程把寫到本地的日誌應用於數據庫
SLAVE start SQL_THREAD
reset slave
SET GLOBAL SQL_SLAVE_SKIP_COUNTER
load data from master
show slave status(SUPER,REPLICATION CLIENT)
CHANGE MASTER TO MASTER_HOST=, MASTER_PORT=,MASTER_USER=, MASTER_PASSWORD= //動態改變master信息
PURGE MASTER [before 'date'] 刪除master端已同步過的日誌
6.3.1 Master 同步線程狀態
以下列出了master的 Binlog Dump 線程 State 字段中最常見的幾種狀態。如果在master上沒有 Binlog Dump 線程,那麼同步就沒有在運行。
也就是說,沒有slave連接上來。
Sending binlog event to slave
事件是由二進制日誌構成,一個事件通常由更新語句加上其他信息。線程讀取到一個事件並正發送到slave上。
Finished reading one binlog; switching to next binlog
讀取完了一個二進制日誌,正切換到下一個。
Has sent all binlog to slave; waiting for binlog to be updated
已經讀取完全部未完成更新日誌,並且全部都發送到slave了。它處於空閒狀態,正等待在master上執行新的更新操作以在二進制日誌中產生新
的事件,然後讀取它們。
Waiting to finalize termination
當前線程停止了,這個時間很短。

6.3.2 Slave的I/O線程狀態
以下列出了slave的I/O線程 State 字段中最常見的幾種狀態。從MySQL 4.1.1開始,這個狀態在執行 SHOW SLAVE STATUS 語句結果的
Slave_IO_State 字段也會出現。這意味着可以只執行 SHOW SLAVE STATUS 語句就能瞭解到更多的信息。
Connecting to master
該線程證嘗試連接到master上。
Checking master version
確定連接到master後出現的一個短暫的狀態。
Registering slave on master
確定連接到master後出現的一個短暫的狀態。
Requesting binlog dump
確定連接到master後出現的一個短暫的狀態。該線程向master發送一個請求,告訴它要請求的二進制文件以及開始位置。
Waiting to reconnect after a failed binlog dump request
如果二進制日誌轉儲(binary log dump)請求失敗了(由於連接斷開),該線程在休眠時進入這個狀態,並定期重連。重連的時間間隔由 --
master-connect-retry 選項來指定。
Reconnecting after a failed binlog dump request
該線程正嘗試重連到master。
Waiting for master to send event
已經連接到master,正等待它發送二進制日誌。如果master閒置時,這個狀態可能會持續較長時間,如果它等待超過 slave_read_timeout 秒
,就會發生超時。這時,它就會考慮斷開連接,然後嘗試重連。
Queueing master event to the relay log
已經讀取到一個事件,正把它拷貝到中繼日誌中以備SQL線程處理。
Waiting to reconnect after a failed master event read
讀日誌時發生錯誤(由於連接斷開)。該線程在重連之前休眠 master-connect-retry 秒。
Reconnecting after a failed master event read
正嘗試重連到master。當連接確定後,狀態就變成 Waiting for master to send event。
Waiting for the slave SQL thread to free enough relay log space
relay_log_space_limit 的值非零,中繼日誌的大小總和超過這個值了。I/O線程等待SQL線程先處理中繼日誌然後刪除它們以釋放足夠的空間

Waiting for slave mutex on exit
當前線程停止了,這個時間很短。

6.3.3 Slave的SQL線程狀態
以下列出了slave的SQL線程 State 字段中最常見的幾種狀態:
Reading event from the relay log
從中繼日誌裏讀到一個事件以備執行。
Has read all relay log; waiting for the slave I/O thread to update it
已經處理完中繼日誌中的全部事件了,正等待I/O線程寫入更新的日誌。
Waiting for slave mutex on exit
當前線程停止了,這個時間很短。

--------------
常見的一些問題:

一.從庫SLAVE啓動問題
由於一些錯誤操作導致 CHANGE MASTER 和 SLAVE 服務無法啓動,系統報錯如下:
*****************************************************************
Could not initialize master info structure; more error messages can be found in the MySQL error log.
*****************************************************************
無法初始化master info結構,MySQL錯誤日誌記錄了更詳細的錯誤信息。
解決方法:
1、查看MySQL錯誤日誌,如:同步的上一個Position是多少,很多情況下無法啓動服務是由於mysql識別的同步始終停留在上一個Position上。
2、查看master.info和relay-log.info,master.info 記錄MASTER相關信息,relay-log.info 記錄當前同步日誌信息。
3、停止myslq服務,刪除master.info和relay-log.info。
4、啓動mysql服務。
5、重新CHANGE MASTER,重新啓動SLAVE服務。

二.主從不能同步
show slave status;報錯:Error xxx dosn't exist
且show slave status\G:
Slave_SQL_Running: NO
Seconds_Behind_Master: NULL
解決方法:
stop slave;
set global sql_slave_skip_counter =1 ;
start slave;
之後Slave會和Master去同步 主要看:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Seconds_Behind_Master是否爲0,0就是已經同步了
2,還需要做的一些優化與監視:
show full processlist; //查看mysql當前同步線程號
skip-name-resolve       //跳過dns名稱查詢,有助於加快連接及同步的速度
max_connections=1000    //增大Mysql的連接數目,(默認100)
max_connect_errors=100 //增大Mysql的錯誤連接數目,(默認10)

查看日誌一些命令
1,  show master status\G;
在這裏主要是看log-bin的文件是否相同。
show slave status\G;
在這裏主要是看:
Slave_IO_Running=Yes
Slave_SQL_Running=Yes
如果都是Yes,則說明配置成功.
2,在master上輸入show processlist\G;
mysql> SHOW PROCESSLIST\G
*************************** 1. row ***************************
Id: 2
User: root
Host: localhost:32931
db: NULL
Command: Binlog Dump
Time: 94
State: Has sent all binlog to slave; waiting for binlog to
be updated
Info: NULL
如果出現Command: Binlog Dump,則說明配置成功.

stop slave    #停止同步
start slave    #開始同步,從日誌終止的位置開始更新。
SET SQL_LOG_BIN=0|1  #主機端運行,需要super權限,用來開停日誌,隨意開停,會造成主機從機數據不一致,造成錯誤
SET GLOBAL SQL_SLAVE_SKIP_COUNTER=n  # 客戶端運行,用來跳過幾個事件,只有當同步進程出現錯誤而停止的時候纔可以執行。
RESET MASTER  #主機端運行,清除所有的日誌,這條命令就是原來的FLUSH MASTER
RESET SLAVE   #從機運行,清除日誌同步位置標誌,並重新生成master.info
雖然重新生成了master.info,但是並不起用,最好,將從機的mysql進程重啓一下,
LOAD TABLE tblname FROM MASTER #從機運行,從主機端重讀指定的表的數據,每次只能讀取一個,受timeout時間限制,需要調整timeout時間。執行這個命令需要同步賬號有 reload和super權限。以及對相應的庫有select權限。如果表比較大,要增加net_read_timeout 和 net_write_timeout的值
LOAD DATA FROM MASTER  #從機執行,從主機端重新讀入所有的數據。執行這個命令需要同步賬號有reload和super權限。以及對相應的庫有select權限。如果表比較大,要增加net_read_timeout 和 net_write_timeout的值
CHANGE MASTER TO master_def_list  #在線改變一些主機設置,多個用逗號間隔,比如
CHANGE MASTER TO
MASTER_HOST='master2.mycompany.com',
MASTER_USER='replication',
MASTER_PASSWORD='bigs3cret'
MASTER_POS_WAIT() #從機運行
SHOW MASTER STATUS #主機運行,看日誌導出信息
SHOW SLAVE HOSTS #主機運行,看連入的從機的情況。
SHOW SLAVE STATUS (slave)
SHOW MASTER LOGS (master)
SHOW BINLOG EVENTS [ IN 'logname' ] [ FROM pos ] [ LIMIT [offset,] rows ]
PURGE [MASTER] LOGS TO 'logname' ; PURGE [MASTER] LOGS BEFORE 'date'
show binlog events; #查看主庫二進制日誌文件內容:
注意:
1.主輔庫同步主要是通過二進制日誌來實現同步的。
2.在啓動輔庫的時候必須先把數據同步,並刪除日誌目錄下的:master.info文件。因爲master.info記錄了上次要連接主庫的信息,如果不刪除,即使my.cnf裏進行了修改,也不起作用。因爲讀取的還是master.info文件裏的信息。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章