pt-table-sync修復主從庫不一致數據

原創 wjw555 2019-06-16 13:23

一、實例演示1

模擬主從庫數據不一致環境：

192.168.0.39 master庫:
mysql> select * from test01.frame01;;
+----+-----------+------------------------------------------+
| id | parent_id | dsn                                      |
+----+-----------+------------------------------------------+
|  1 |         1 | 192.168.0.22,u=pt22,p=ptchecksums,P=3307 |
|  2 |         2 | 192.168.0.33,u=pt33,p=ptchecksums,P=3308 |
+----+-----------+------------------------------------------+
2 rows in set (0.00 sec)

192.168.0.39 slave庫:
mysql> update frame01 set dsn='192.168.0.55,u=umaaa,p=ptchsyeudew,P=3310' where id=1;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> update frame01 set dsn='192.168.0.66,u=umbbb,p=ptchsyeudew,P=3311' where id=2;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1  Changed: 1  Warnings: 0
mysql> select * from frame01;
+----+-----------+-------------------------------------------+
| id | parent_id | dsn                                       |
+----+-----------+-------------------------------------------+
|  1 |         1 | 192.168.0.55,u=umaaa,p=ptchsyeudew,P=3310 |
|  2 |         2 | 192.168.0.66,u=umbbb,p=ptchsyeudew,P=3311 |
+----+-----------+-------------------------------------------+

pt-table-sync校驗修復數據具體指令：

[root@kusou-es11 ~]#  /usr/local/percona-toolkit/bin/pt-table-sync h=192.168.0.39,u=ptsum,p=ptchecksums,P=3306 --databases=test01 --tables=frame01 --replicate=percona.checksums --print
REPLACE INTO `test01`.`frame01`(`id`, `parent_id`, `dsn`) VALUES ('1', '1', '192.168.0.22,u=pt22,p=ptchecksums,P=3307') /*percona-toolkit src_db:test01 src_tbl:frame01 src_dsn:P=3306,h=192.168.0.39,p=...,u=ptsum dst_db:test01 dst_tbl:frame01 dst_dsn:P=3306,h=192.168.0.11,p=...,u=ptsum lock:1 transaction:1 changing_src:percona.checksums replicate:percona.checksums bidirectional:0 pid:176411 user:root host:kusou-es11*/;
REPLACE INTO `test01`.`frame01`(`id`, `parent_id`, `dsn`) VALUES ('2', '2', '192.168.0.33,u=pt33,p=ptchecksums,P=3308') /*percona-toolkit src_db:test01 src_tbl:frame01 src_dsn:P=3306,h=192.168.0.39,p=...,u=ptsum dst_db:test01 dst_tbl:frame01 dst_dsn:P=3306,h=192.168.0.11,p=...,u=ptsum lock:1 transaction:1 changing_src:percona.checksums replicate:percona.checksums bidirectional:0 pid:176411 user:root host:kusou-es11*/;

提示： 命令末尾的--print的指令是打印出需要修復數據的命令，不執行命令。

pt-table-sync 修復主從庫的表frame01數據 ，使主從庫表frame01數據一致：


[root@kusou-es11 ~]#  /usr/local/percona-toolkit/bin/pt-table-sync h=192.168.0.39,u=ptsum,p=ptchecksums,P=3306 --databases=test01 --tables=frame01 --replicate=percona.checksums --execute
[root@kusou-es11 ~]#

提示： 命令末尾的 --execute 的指令是執行修復數據的指令，使master庫mysql.user表和slave庫的mysql.user表數據一致

pt-table-checksum 檢測主從庫的表frame01數據一致 （因爲 DIFFS =0 ）

[root@kusou-es11 ~]#  /usr/local/percona-toolkit/bin/pt-table-checksum  h=192.168.0.39,u=ptsum,p='ptchecksums',P=3306 --databases=test01 --tables=frame01 --replicate=percona.checksums  --no-check-binlog-format --nocheck-replication-filters  
Checking if all tables can be checksummed ...
Starting checksum ...
            TS ERRORS  DIFFS     ROWS  DIFF_ROWS  CHUNKS SKIPPED    TIME TABLE
06-15T13:41:47      0      0        2          0       1       0   0.316 test01.frame01

slave庫查看，數據和主庫一致

mysql> select * from test01.frame01;
+----+-----------+------------------------------------------+
| id | parent_id | dsn                                      |
+----+-----------+------------------------------------------+
|  1 |         1 | 192.168.0.22,u=pt22,p=ptchecksums,P=3307 |
|  2 |         2 | 192.168.0.33,u=pt33,p=ptchecksums,P=3308 |
+----+-----------+------------------------------------------+
2 rows in set (0.00 sec)

提示：需要注意的是，需要同步的表上必須要有主鍵或者唯一索引，否則會出錯。
同時，pt-table-sync 修復數據時，會造成鎖表，要在業務低峯期來修復主庫的數據

對找到的主從不一致的行，採用replace into語句，在主庫執行一遍以生成該行全量的binlog，並同步到從庫，這會以主庫數據爲基準來修復從庫；
對於主庫有的行而從庫沒有的行，採用replace在主庫上插入(必須不能是×××ert)；
對於從庫有而主庫沒有的行，通過在主庫執行delete來刪除(pt-table-sync強烈建議所有的數據修復都只在主庫進行，而不建議直接修改從庫數據；但是也有特例，以後面會講到)。

二、實例演示2

在slave庫上的mysql user表上，新建一個用戶 qdtets@'192.168.0.%' 模擬master和slave庫數據不一致

grant all on *.* to qdtets@'192.168.0.%' identified by 'DHWUOEdwerer';flush privileges;
[root@kusou-es11 ~]#  /usr/local/percona-toolkit/bin/pt-table-checksum  h=192.168.0.39,u=ptsum,p='ptchecksums',P=3306 --databases=mysql --replicate=percona.checksums  --no-check-binlog-format --nocheck-replication-filters  
Checking if all tables can be checksummed ...
Starting checksum ...
            TS ERRORS  DIFFS     ROWS  DIFF_ROWS  CHUNKS SKIPPED    TIME TABLE
06-15T13:32:27      0      0        0          0       1       0   0.317 mysql.columns_priv
06-15T13:32:28      0      0        2          0       1       0   0.318 mysql.db
06-15T13:32:28      0      0        2          0       1       0   0.316 mysql.engine_cost
06-15T13:32:28      0      0        0          0       1       0   0.317 mysql.event
06-15T13:32:29      0      0        0          0       1       0   0.316 mysql.func
06-15T13:32:29      0      0       41          0       1       0   0.317 mysql.help_category
06-15T13:32:29      0      0      699          0       1       0   0.318 mysql.help_keyword
06-15T13:32:30      0      0     1413          0       1       0   0.319 mysql.help_relation
06-15T13:32:30      0      0      643          0       1       0   0.325 mysql.help_topic
06-15T13:32:30      0      0        0          0       1       0   0.316 mysql.ndb_binlog_index
06-15T13:32:31      0      0        0          0       1       0   0.316 mysql.plugin
06-15T13:32:31      0      1       48          0       1       0   0.317 mysql.proc
06-15T13:32:31      0      0        0          0       1       0   0.317 mysql.procs_priv
06-15T13:32:32      0      0        1          0       1       0   0.317 mysql.proxies_priv
06-15T13:32:32      0      0        6          0       1       0   0.317 mysql.server_cost
06-15T13:32:32      0      0        0          0       1       0   0.316 mysql.servers
06-15T13:32:33      0      0        2          0       1       0   0.317 mysql.tables_priv
06-15T13:32:33      0      0        0          0       1       0   0.316 mysql.time_zone
06-15T13:32:33      0      0        0          0       1       0   0.316 mysql.time_zone_leap_second
06-15T13:32:33      0      0        0          0       1       0   0.316 mysql.time_zone_name
06-15T13:32:34      0      0        0          0       1       0   0.318 mysql.time_zone_transition
06-15T13:32:34      0      0        0          0       1       0   0.317 mysql.time_zone_transition_type
**06-15T13:32:34      0      1        6          1       1       0   0.319 mysql.user**

在slave庫上pt-table-sync 修復數據：

slave庫上操作：

[root@kusou-es11 ~]# /usr/local/percona-toolkit/bin/pt-table-sync h=192.168.0.39,u=ptsum,p=ptchecksums,P=3306 --databases=mysql --tables=user --replicate=percona.checksums --print
Access denied for user 'ptsum'@'192.168.0.%' to database 'mysql' [for Statement "LOCK TABLES `mysql`.`user` WRITE"] at line 6172 while doing mysql.user on 192.168.0.11

報錯，提示沒lock tables 權限

解決辦法：登錄master庫重新授權，添加lock tables權限

grant  update,×××ert,select,create,drop,delete,index,execute,lock tables,super,process,replication slave on *.* to ptsum@'192.168.0.%' identified by 'ptchecksums'; flush privileges;

再次操作不在報錯br/>**輸出提示master庫的mysql.user表和slave庫的mysql.user表的數據不一致。slave庫的mysql.user表多了一個用戶qdtets@'192.168.0.%'。需要刪除這個用戶，才能保證主庫和從庫數據的一致
換句話說：
由於從庫只是比主庫多了一條數據，pt-table-sync將以主庫以準，在主庫執行一個刪除操作的事件，然後slave應用此事件完成同步**

[root@kusou-es11 ~]# /usr/local/percona-toolkit/bin/pt-table-sync h=192.168.0.39,u=ptsum,p=ptchecksums,P=3306 --databases=mysql --tables=user --replicate=percona.checksums --print
DELETE FROM `mysql`.`user` WHERE `host`='192.168.0.%' AND `user`='qdtets' LIMIT 1 /*percona-toolkit src_db:mysql src_tbl:user src_dsn:P=3306,h=192.168.0.39,p=...,u=ptsum dst_db:mysql dst_tbl:user dst_dsn:P=3306,h=192.168.0.11,p=...,u=ptsum lock:1 transaction:0 changing_src:percona.checksums replicate:percona.checksums bidirectional:0 pid:137319 user:root host:kusou-es11*/;

提示： 命令末尾的--print的指令是打印出需要修復數據的命令，不執行命令。

使用pt-table-checksum檢測mysql的user表，DIFFS =1 事實證明master和slave的mysql user表數據確實不一致：

[root@kusou-es11 ~]# /usr/local/percona-toolkit/bin/pt-table-checksum  h=192.168.0.39,u=ptsum,p='ptchecksums',P=3306 --databases=mysql --tables=user  --no-check-binlog-format --nocheck-replication-filters
Checking if all tables can be checksummed ...
Starting checksum ...
            TS ERRORS  DIFFS     ROWS  DIFF_ROWS  CHUNKS SKIPPED    TIME TABLE
06-15T09:58:37      0      1        6          1       1       0   0.318 mysql.user

執行修復命令pt-table-sync 修復master和slave的mysql user表數據：

[root@kusou-es11 ~]#  /usr/local/percona-toolkit/bin/pt-table-sync h=192.168.0.39,u=ptsum,p=ptchecksums,P=3306 --databases=mysql --tables=user --replicate=percona.checksums --execute
[root@kusou-es11 ~]#

提示： 命令末尾的 --execute 的指令是執行修復數據的指令，使master庫mysql.user表和slave庫的mysql.user表數據一致

slave庫上檢查master庫的mysql.user表 和slave庫的mysql.user 表數據是否一致：

[root@kusou-es11 ~]# /usr/local/percona-toolkit/bin/pt-table-checksum  h=192.168.0.39,u=ptsum,p='ptchecksums',P=3306 --databases=mysql --tables=user  --no-check-binlog-format --nocheck-replication-filters
Checking if all tables can be checksummed ...
Starting checksum ...
            TS ERRORS  DIFFS     ROWS  DIFF_ROWS  CHUNKS SKIPPED    TIME TABLE
06-15T09:46:52      0      0        6          0       1       0   0.319 mysql.user

可以看到DIFFS =0 ，說明數據已經修復完成

三、實例演示3

將master 上的所有數據同步到slave：

[root@kusou-es11 ~]# /usr/local/percona-toolkit/bin/pt-table-sync --execute  h=192.168.0.39,u=ptsum,p=ptchecksums,P=3306 --databases=mysql --tables=user h=192.168.0.11,u=ptsum,p='ptchecksums',P=3306 --no-check-slave  --print
DELETE FROM `mysql`.`user` WHERE `host`='10.0.0.1' AND `user`='dhrue' LIMIT 1 /*percona-toolkit src_db:mysql src_tbl:user src_dsn:P=3306,h=192.168.0.39,p=...,u=ptsum dst_db:mysql dst_tbl:user dst_dsn:P=3306,h=192.168.0.11,p=...,u=ptsum lock:0 transaction:0 changing_src:0 replicate:0 bidirectional:0 pid:12565 user:root host:kusou-es11*/;

將master 上的所有數據同步到slave1和slave2：


[root@kusou-es11 ~]# /usr/local/percona-toolkit/bin/pt-table-sync --execute  h=192.168.0.39,u=ptsum,p=ptchecksums,P=3306 --databases=mysql --tables=user h=192.168.0.11,u=ptsum,p='ptchecksums',P=3307    h=192.168.0.22,u=ptsum,p='ptchecksums',P=3308   --no-check-slave  --print

對pt-table-checksum和pt-table-sync這一組工具進行了最簡單的測試，其實運行這一組命令不一定需要在主從結構的主庫上進行，網段內的任何服務器都可以運行，前提就是安裝好這套工具就好。

四、原理介紹

pt-table-checksum/pt-table-sync原理介紹可以參考如下博文：
http://blog.sina.com.cn/s/blog_a1e9c7910102vnsd.html

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

percona-toolkit之pt-table-sync修復Mysql主從數據一致性

gaoquan1 2019-07-19 13:07:52

linux CentOS7 mysql 源碼安裝和rpm安裝

今天是安裝linux mysql第三天，終於安裝成功了。 第一種方法，源碼安裝。 下載 cmake-2.8.10.2.tar.gz 和 mysql-5.6.4-m7.tar.gz 上傳到服務器解壓完成 1.在cmake-2.8.10.2這

weixin_38081382 2020-07-08 12:31:47

linux mysql ERROR 1820 (HY000): Unknown error 1820

安裝好mysql登錄進去mysql中，使用查詢，創建命令都不行，還報錯。 網上查找後，發現雖然使用我上一遍文章修改了密碼，但是mysql中並沒有設置密碼，需要在mysql中再設置一下密碼  執行 SET PASSWORD = PASSWO

weixin_38081382 2020-07-08 12:31:47

Java之mySQL數據庫事務隔離級別

問題 同一個應用程序中的多個事務或不同應用程序中的多個事務在同一個數據集上併發執行時, 可能會出現許多意外的問題，這些問題可分爲如下三種類型： 髒讀(Drity Read)： 已知有兩個事務A和B, A讀取了已經被B更新但還沒

这个名字真难起 2020-07-08 12:03:47

Java之mySQL數據庫表

字段類型 整數類型 tinyInt：很小的整數， smallint：小的整數 mediumint：中等大小的整數 int：普通大小的整數 小數類型 float(m,d)：單精度浮點數，m表示數字長度，d表示小數位數，例如floa

这个名字真难起 2020-07-08 12:03:46

mysql預處理語句提取變量，實現動態執行SQL語句

爲了項目在長期使用過程中，數據庫仍能夠保持較好的性能，考慮將數據庫表分爲當前表和歷史表。當前錶針對不同客戶，分別存儲在不同的表中。因爲需要在mysql的存儲過程中實現動態的指向不同的表進行操作。 首先,mysql的預處理語句如果帶參數，每

pengdayong77 2020-07-08 12:37:23

面試準備季——MyBatis 面試專題（含答案）

寫在前面：2020年面試必備的Java後端進階面試題總結了一份複習指南在Github上，內容詳細，圖文並茂，有需要學習的朋友可以Star一下！ GitHub地址：https://github.com/abel-max/Java-S

毛发旺盛的程序员 2020-07-08 12:27:20

Flex+java開發環境配置

     最近在做個項目。前端是用flex來寫，後臺用java，數據庫就用mysql。定了以後開始配環境。網上這方面的資料很多都是不負責任的，照着來的話也會有不少的問題，把自己的配置方法寫下來，希望需要的人能用得上。  需要下載的軟件 M

duran1986 2020-07-08 12:24:31

MySQL：CentOS 7通過yum安裝MariaDB

如何在CentOS 7下通過yum安裝MariaDB呢？ 這裏附上大佬的安裝步驟： https://zhuanlan.zhihu.com/p/49046496 博主就是按照這個步驟來的，炒雞詳細~相信你也能看明白 |ू･ω･` )

ETalien_ 2020-07-08 12:19:01

MySQL：外鍵及外鍵的使用

外鍵及外鍵的使用 如果公共關鍵字在一個關係中是主關鍵字，那麼這個公共關鍵字被稱爲另一個關係的外鍵。 由此可見，外鍵表示了兩個關係之間的相關聯繫。以另一個關係的外鍵作主關鍵字的表被稱爲主表，具有此外鍵的表被稱爲主表的從表。外鍵又稱作

ETalien_ 2020-07-08 12:19:01

MySQL：建庫建表等簡單操作

庫的相關操作 – 查看已有庫 SHOW DATABASES; SHOW DATABASES; SHOW DATABASES\G – 新建庫的操作 CREATE DATABASE 庫名; CREATE DATABASE `ET`;

ETalien_ 2020-07-08 12:19:01

linux 下安裝 mysql5.6.30

以下安裝步驟是本人以前操作的過程步驟，不保證100%正確，如果在使用過程出現異常請查閱其他相關資料。 1、下載mysql5.6，地址：http://dev.mysql.com/downloads/mysql/ 我們這下載：mysql

华华鱼 2020-07-08 12:16:40

【數據庫-MySQL】mysql日誌詳解及性能優化

mysql日誌分爲四大類：慢查詢日誌，查詢日誌，錯誤日誌，二進制日誌 一.慢查詢日誌：大於慢查詢時間的語句，都會記錄在慢查詢日誌中 1.查看慢查詢是否開啓 show variables like "slow_query_log"; 如下：

斯台普斯的少年 2020-07-08 12:15:14

Mysql疑難雜症收集

  Mysql疑難雜症收集 By Eagoo 　　　　一、可疑問題： 　　　　　　　　mysql>show processlist; 　　　　

单线程的娃 2020-07-08 12:00:56

python 操作 MySql 數據庫

準備工作 : 安裝 pymysql 命令：pip install pymysql 重要函數 函數 說明 connect 創建鏈接 cursor  創建一個遊標 commit 事務提交，如果沒有設爲自動提交，則每次操作後必須提交事務，否則操

浮煌 2020-07-08 11:43:28