【20180207】mydumper 備份流程

mydumper備份流程

1. mydumper和mysqldump比對
   • mysqldump備份是屬於單進程備份，mydumper備份屬於多線程備份。
   • mysqldump備份innodb引擎表和非innodb引擎表的時候使用一致性備份的時候備份的非innodb引擎表的數據可能會和show master status 獲取得到binlog的filename和position不一致，因爲mysqldump備份的時候開啓事務的時候，innodb引擎表是遵循MVCC版本控制的，但是非innodb引擎表並不會，再由於進行數據備份的時候是在unlock tables之後，在備份期間非innodb引擎的表是可以修改數據的。要是不想備份的binlog的filename,position信息和實際數據存在差異，那麼就必須添加-x參數，這個參數和一致性快照參數是相互衝突的，並且這個參數會導致全表鎖定，並且是整個備份過程都是鎖定的狀態直到備份完成。
   • mydumper備份innodb和非innodb引擎表混雜的情況下，會將所有非innodb引擎備份完畢之後執行unlock tables操作。
   • mysqldump備份將所以的庫表備份到一個文件內。當數據很大的時候，想要針對備份的文件進行有些修改會非常的不方便。mydumper備份根據表爲單位進行備份，每個表都會存在倆個文件，一個存放的是表的DML信息，一個存放的是表的數據信息。可以很明確的針對某個表進行的字符集或者存儲引擎進行修改。
2. mydunper特性
   • 支持多線程備份
   • 因爲多線程備份，所以會生成多個備份文件
   • 備份會執行flush tables with read lock,阻塞DML，防止MyISAM表的寫入。備份完畢非innodb引擎表之後會unlock tables。
   • 保證備份文件的一致性
   • 支持壓縮備份
   • 支持導出binlog文件
   • 支持多線程恢復
   • 支持以守護進程的方式工作，定時快照和連續二進制日誌
   • 支持將備份文件切塊

3. mydumper備份流程圖

   • 備份的時候線程會優先級備份非innodb引擎表，在備份之前會flush tables with read lock 操作，防止非innodb引擎表的DML操作，備份完非innodb引擎表之後會執行unlock tables；然後繼續備份innodb引擎表
   • mydumper的master進程會以守護進程的方式運行，生成N個(默認是4個)線程連接數據庫，由這N個進程執行備份過程
   • 在開啓事務之後，會執行show master status得到binlog的filename和position信息，這些信息將存放到metadata文件內。
     
4. mydumper參數：

   -B, --database              要備份的數據庫，不指定則備份所有庫
   -T, --tables-list           需要備份的表，名字用逗號隔開
   -o, --outputdir             備份文件輸出的目錄
   -s, --statement-size        生成的insert語句的字節數，默認1000000
   -r, --rows                  將表按行分塊時，指定的塊行數，指定這個選項會關閉 --chunk-filesize
   -F, --chunk-filesize        將表按大小分塊時，指定的塊大小，單位是 MB
   -c, --compress              壓縮輸出文件
   -e, --build-empty-files     如果表數據是空，還是產生一個空文件（默認無數據則只有表結構文件）
   -x, --regex                 是同正則表達式匹配 'db.table'
   -i, --ignore-engines        忽略的存儲引擎，用都厚分割
   -m, --no-schemas            不備份表結構
   -k, --no-locks              不使用臨時共享只讀鎖，使用這個選項會造成數據不一致
   --less-locking              減少對InnoDB表的鎖施加時間（這種模式的機制下文詳解）
   -l, --long-query-guard      設定阻塞備份的長查詢超時時間，單位是秒，默認是60秒（超時後默認mydumper將會退出）
   --kill-long-queries         殺掉長查詢 (不退出)
   -b, --binlogs               導出binlog
   -D, --daemon                啓用守護進程模式，守護進程模式以某個間隔不間斷對數據庫進行備份
   -I, --snapshot-interval     dump快照間隔時間，默認60s，需要在daemon模式下
   -L, --logfile               使用的日誌文件名(mydumper所產生的日誌), 默認使用標準輸出
   --tz-utc                    跨時區是使用的選項，不解釋了
   --skip-tz-utc               同上
   --use-savepoints            使用savepoints來減少採集metadata所造成的鎖時間，需要 SUPER 權限
   --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
   -h, --host                  連接的主機名
   -u, --user                  備份所使用的用戶
   -p, --password              密碼
   -P, --port                  端口
   -S, --socket                使用socket通信時的socket文件
   -t, --threads               開啓的備份線程數，默認是4
   -C, --compress-protocol     壓縮與mysql通信的數據
   -V, --version               顯示版本號
   -v, --verbose               輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲 2

5. myloader使用參數

   -d, --directory                   備份文件的文件夾
   -q, --queries-per-transaction     每次事物執行的查詢數量，默認是1000
   -o, --overwrite-tables            如果要恢復的表存在，則先drop掉該表，使用該參數，需要備份時候要備份表結構
   -B, --database                    需要還原的數據庫
   -e, --enable-binlog               啓用還原數據的二進制日誌
   -h, --host                        主機
   -u, --user                        還原的用戶
   -p, --password                    密碼
   -P, --port                        端口
   -S, --socket                      socket文件
   -t, --threads                     還原所使用的線程數，默認是4
   -C, --compress-protocol           壓縮協議
   -V, --version                     顯示版本
   -v, --verbose                     輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲2

6. 實際生產案例：
   • 備份單庫

     mydumper -u root -p redhat -h 172.16.3.5 -B percona -o /data/backup/01/

   • 全量備份

     mydumper -u root -p redhat -h 172.16.3.5 -o /data/backup/02/

7. general log日誌信息：

   2018-02-06T16:40:09.029354+08:00       32 Connect   root@localhost on  using Socket
   2018-02-06T16:40:09.029887+08:00       32 Query select @@version_comment limit 1
   2018-02-06T16:40:09.034432+08:00       32 Query select USER()
   2018-02-06T16:40:19.565214+08:00       32 Query select user,host from mysql.user
   2018-02-06T16:40:40.140267+08:00       33 Connect   [email protected] on  using TCP/IP
   2018-02-06T16:40:40.140991+08:00       33 Query select @@version_comment limit 1
   2018-02-06T16:40:41.137537+08:00       33 Quit
   2018-02-06T16:41:51.738271+08:00       34 Connect   [email protected] on percona using TCP/IP
   2018-02-06T16:41:51.749860+08:00       34 Query SET SESSION wait_timeout = 2147483
   2018-02-06T16:41:51.750298+08:00       34 Query SET SESSION net_write_timeout = 2147483
   2018-02-06T16:41:51.750792+08:00       34 Query SHOW PROCESSLIST
   2018-02-06T16:41:51.751269+08:00       34 Query FLUSH TABLES WITH READ LOCK
   2018-02-06T16:41:51.769610+08:00       34 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
   2018-02-06T16:41:51.770122+08:00       34 Query /*!40101 SET NAMES binary*/
   2018-02-06T16:41:51.770491+08:00       34 Query SHOW MASTER STATUS
   2018-02-06T16:41:51.771023+08:00       34 Query SHOW SLAVE STATUS
   2018-02-06T16:41:51.773673+08:00       35 Connect   [email protected] on  using TCP/IP
   2018-02-06T16:41:51.774198+08:00       35 Query SET SESSION wait_timeout = 2147483
   2018-02-06T16:41:51.774508+08:00       35 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
   2018-02-06T16:41:51.774774+08:00       35 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
   2018-02-06T16:41:51.775863+08:00       35 Query /*!40103 SET TIME_ZONE='+00:00' */
   2018-02-06T16:41:51.776238+08:00       35 Query /*!40101 SET NAMES binary*/
   2018-02-06T16:41:51.778248+08:00       36 Connect   [email protected] on  using TCP/IP
   2018-02-06T16:41:51.778647+08:00       36 Query SET SESSION wait_timeout = 2147483
   2018-02-06T16:41:51.778970+08:00       36 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
   2018-02-06T16:41:51.779241+08:00       36 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
   2018-02-06T16:41:51.779526+08:00       36 Query /*!40103 SET TIME_ZONE='+00:00' */
   2018-02-06T16:41:51.779846+08:00       36 Query /*!40101 SET NAMES binary*/
   2018-02-06T16:41:51.782079+08:00       37 Connect   [email protected] on  using TCP/IP
   2018-02-06T16:41:51.782491+08:00       37 Query SET SESSION wait_timeout = 2147483
   2018-02-06T16:41:51.782816+08:00       37 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
   2018-02-06T16:41:51.783157+08:00       37 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
   2018-02-06T16:41:51.783459+08:00       37 Query /*!40103 SET TIME_ZONE='+00:00' */
   2018-02-06T16:41:51.783857+08:00       37 Query /*!40101 SET NAMES binary*/
   2018-02-06T16:41:51.786025+08:00       38 Connect   [email protected] on  using TCP/IP
   2018-02-06T16:41:51.786435+08:00       38 Query SET SESSION wait_timeout = 2147483
   2018-02-06T16:41:51.786839+08:00       38 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
   2018-02-06T16:41:51.787132+08:00       38 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
   2018-02-06T16:41:51.787455+08:00       38 Query /*!40103 SET TIME_ZONE='+00:00' */
   2018-02-06T16:41:51.787835+08:00       38 Query /*!40101 SET NAMES binary*/
   2018-02-06T16:41:51.788283+08:00       34 Init DB   percona
   2018-02-06T16:41:51.788709+08:00       34 Query SHOW TABLE STATUS
   2018-02-06T16:41:51.791089+08:00       34 Query SHOW CREATE DATABASE `percona`
   2018-02-06T16:41:51.792056+08:00       36 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest1`
   2018-02-06T16:41:51.792211+08:00       38 Query SHOW CREATE TABLE `percona`.`sbtest1`
   2018-02-06T16:41:51.792108+08:00       35 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest2`
   2018-02-06T16:41:51.792123+08:00       37 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest3`
   2018-02-06T16:41:51.793281+08:00       38 Query SHOW CREATE TABLE `percona`.`sbtest2`
   2018-02-06T16:41:51.794070+08:00       38 Query SHOW CREATE TABLE `percona`.`sbtest3`
   2018-02-06T16:41:51.798308+08:00       34 Query UNLOCK TABLES /* FTWRL */
   2018-02-06T16:41:51.798666+08:00       34 Quit
   2018-02-06T16:41:51.798843+08:00       37 Quit
   2018-02-06T16:41:51.798906+08:00       36 Quit
   2018-02-06T16:41:51.798951+08:00       38 Quit
   2018-02-06T16:41:51.799045+08:00       35 Quit

8. 在上訴日誌中，innodb引擎表也是在unlock tables之前就做備份那是因爲備份的時候總共就只有3個表，但是存在備份的線程存在4個，非innodb引擎表和innodb引擎表都在創建線程開始的時候就開始備份，在這個期間備份非innodb引擎表的時候是全局讀鎖，這個時候也已經開始備份innodb引擎表，所以在日誌可以看到在備份innodb引擎表的時候是沒有unlock tables的。
9. --less-locking參數
   • 添加該參數的目的是爲了減少鎖。添加該參數之後，master 守護進程會執行，但是所有的線程都不會再執行FLUSH TABLES WITH READ LOCK，而是直接設置隔離級別和顯示的開啓事務。在針對非innodb引擎事務表的時候，會直接LOCK TABLES操作，等這個表上面所有的數據備份完畢之後纔會UNLOCK TABLES。

     .....
     2018-02-09T14:39:12.595758+08:00       89 Connect   [email protected] on  using TCP/IP
     2018-02-09T14:39:12.596290+08:00       89 Query SET SESSION wait_timeout = 2147483
     2018-02-09T14:39:12.596644+08:00       89 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
     2018-02-09T14:39:12.596988+08:00       89 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
     2018-02-09T14:39:12.597391+08:00       89 Query /*!40103 SET TIME_ZONE='+00:00' */
     2018-02-09T14:39:12.597761+08:00       89 Query /*!40101 SET NAMES binary*/
     2018-02-09T14:39:12.600150+08:00       90 Connect   [email protected] on  using TCP/IP
     2018-02-09T14:39:12.600568+08:00       90 Query SET SESSION wait_timeout = 2147483
     2018-02-09T14:39:12.600868+08:00       90 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
     2018-02-09T14:39:12.601205+08:00       90 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
     2018-02-09T14:39:12.601596+08:00       90 Query /*!40103 SET TIME_ZONE='+00:00' */
     2018-02-09T14:39:12.601974+08:00       90 Query /*!40101 SET NAMES binary*/
     2018-02-09T14:39:12.604035+08:00       91 Connect   [email protected] on  using TCP/IP
     2018-02-09T14:39:12.604415+08:00       91 Query SET SESSION wait_timeout = 2147483
     2018-02-09T14:39:12.604726+08:00       91 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
     2018-02-09T14:39:12.605005+08:00       91 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
     2018-02-09T14:39:12.605369+08:00       91 Query /*!40103 SET TIME_ZONE='+00:00' */
     2018-02-09T14:39:12.605668+08:00       91 Query /*!40101 SET NAMES binary*/
     2018-02-09T14:39:12.606167+08:00       83 Init DB   percona
     2018-02-09T14:39:12.606525+08:00       83 Query SHOW TABLE STATUS
     2018-02-09T14:39:12.616262+08:00       83 Query SHOW CREATE DATABASE `percona`
     2018-02-09T14:39:12.617355+08:00       84 Query LOCK TABLES `percona`.`sbtest1` READ LOCAL
     2018-02-09T14:39:12.617522+08:00       86 Quit
     2018-02-09T14:39:12.617384+08:00       87 Quit
     2018-02-09T14:39:12.617403+08:00       85 Quit
     2018-02-09T14:39:12.618025+08:00       83 Query UNLOCK TABLES /* FTWRL */
     2018-02-09T14:39:12.618335+08:00       83 Quit
     2018-02-09T14:39:12.619698+08:00       90 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest3`
     2018-02-09T14:39:12.619706+08:00       84 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest1`
     2018-02-09T14:39:12.619981+08:00       91 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest4`
     2018-02-09T14:39:12.620169+08:00       89 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest2`
     2018-02-09T14:39:12.664369+08:00       84 Query UNLOCK TABLES /* Non Innodb */
     2018-02-09T14:39:12.664862+08:00       84 Quit
     2018-02-09T14:39:12.665571+08:00       88 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest5`
     2018-02-09T14:39:12.666654+08:00       88 Query SHOW CREATE TABLE `percona`.`sbtest2`
     2018-02-09T14:39:12.666670+08:00       91 Query SHOW CREATE TABLE `percona`.`sbtest1`
     2018-02-09T14:39:12.666972+08:00       89 Query SHOW CREATE TABLE `percona`.`sbtest3`
     2018-02-09T14:39:12.667512+08:00       88 Query SHOW CREATE TABLE `percona`.`sbtest4`
     2018-02-09T14:39:12.667730+08:00       91 Quit
     2018-02-09T14:39:12.667865+08:00       89 Query SHOW CREATE TABLE `percona`.`sbtest5`