本文討論 MySQL 的備份和恢復機制,以及如何維護數據表,包括最主要的兩種表類型:MyISAM 和 Innodb,文中設計的 MySQL 版本爲 5.0.22。
目前 MySQL 支持的免費備份工具有:mysqldump、mysqlhotcopy,還可以用 SQL 語法進行備份:BACKUP TABLE 或者 SELECT INTO OUTFILE,又或者備份二進制日誌(binlog),還可以是直接拷貝數據文件和相關的配置文件。MyISAM 表是保存成文件的形式,因此相對比較容易備份,上面提到的幾種方法都可以使用。Innodb 所有的表都保存在同一個數據文件 ibdata1 中(也可能是多個文件,或者是獨立的表空間文件),相對來說比較不好備份,免費的方案可以是拷貝數據文件、備份 binlog,或者用 mysqldump。
1、mysqldump
1.1 備份
mysqldump 是採用SQL級別的備份機制,它將數據表導成 SQL 腳本文件,在不同的 MySQL 版本之間升級時相對比較合適,這也是最常用的備份方法。現在來講一下 mysqldump 的一些主要參數:
--compatible=name 它告訴 mysqldump,導出的數據將和哪種數據庫或哪個舊版本的 MySQL 服務器相兼容。值可以爲 ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options 等,要使用幾個值,用逗號將它們隔開。當然了,它並不保證能完全兼容,而是儘量兼容。
--complete-insert,-c 導出的數據採用包含字段名的完整 INSERT 方式,也就是把所有的值都寫在一行。這麼做能提高插入效率,但是可能會受到 max_allowed_packet 參數的影響而導致插入失敗。因此,需要謹慎使用該參數,至少我不推薦。
--default-character-set=charset 指定導出數據時採用何種字符集,如果數據表不是採用默認的 latin1 字符集的話,那麼導出時必須指定該選項,否則再次導入數據後將產生亂碼問題。
--disable-keys 告訴 mysqldump 在 INSERT 語句的開頭和結尾增加 /*!40000 ALTER TABLE table DISABLE KEYS */; 和 /*!40000 ALTER TABLE table ENABLE KEYS */; 語句,這能大大提高插入語句的速度,因爲它是在插入完所有數據後才重建索引的。該選項只適合 MyISAM 表。
--extended-insert = true|false 默認情況下,mysqldump 開啓 --complete-insert 模式,因此不想用它的的話,就使用本選項,設定它的值爲 false 即可。
--hex-blob 使用十六進制格式導出二進制字符串字段。如果有二進制數據就必須使用本選項。影響到的字段類型有 BINARY、VARBINARY、BLOB。
--lock-all-tables,-x 在開始導出之前,提交請求鎖定所有數據庫中的所有表,以保證數據的一致性。這是一個全局讀鎖,並且自動關閉 --single-transaction 和 --lock-tables 選項。
--lock-tables 它和 --lock-all-tables 類似,不過是鎖定當前導出的數據表,而不是一下子鎖定全部庫下的表。本選項只適用於 MyISAM 表,如果是 Innodb 表可以用 --single-transaction 選項。
--no-create-info,-t 只導出數據,而不添加 CREATE TABLE 語句。
--no-data,-d 不導出任何數據,只導出數據庫表結構。
--opt 這只是一個快捷選項,等同於同時添加 --add-drop-tables --add-locking --create-option --disable-keys --extended-insert --lock-tables --quick --set-charset 選項。本選項能讓 mysqldump 很快的導出數據,並且導出的數據能很快導回。該選項默認開啓,但可以用 --skip-opt 禁用。注意,如果運行 mysqldump 沒有指定 --quick 或 --opt 選項,則會將整個結果集放在內存中。如果導出大數據庫的話可能會出現問題。
--quick,-q 該選項在導出大表時很有用,它強制 mysqldump 從服務器查詢取得記錄直接輸出而不是取得所有記錄後將它們緩存到內存中。
--routines,-R 導出存儲過程以及自定義函數。
--single-transaction 該選項在導出數據之前提交一個 BEGIN SQL語句,BEGIN 不會阻塞任何應用程序且能保證導出時數據庫的一致性狀態。它只適用於事務表,例如 InnoDB 和 BDB。本選項和 --lock-tables 選項是互斥的,因爲 LOCK TABLES 會使任何掛起的事務隱含提交。要想導出大表的話,應結合使用 --quick 選項。
--triggers 同時導出觸發器。該選項默認啓用,用 --skip-triggers 禁用它。
其他參數詳情請參考手冊,我通常使用以下 SQL 來備份 MyISAM 表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr --default-character-set=utf8 --opt --extended -insert=false /--triggers -R --hex-blob -x db_name > db_name.sql |
使用以下 SQL 來備份 Innodb 表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr --default -character-set=utf8 --opt --extended-insert= false /--triggers -R --hex-blob --single-transaction db_name > db_name.sql |
1.2 還原
用 mysqldump備份出來的文件是一個可以直接倒入的 SQL 腳本,有兩種方法可以將數據導入。
直接用 mysql 客戶端 例如:
/usr/local/mysql/bin/mysql -uyejr -pyejr db_name < db_name.sql |
用 SOURCE 語法 其實這不是標準的 SQL 語法,而是 mysql 客戶端提供的功能,例如: SOURCE /tmp/db_name.sql;
這裏需要指定文件的絕對路徑,並且必須是 mysqld 運行用戶(例如 nobody)有權限讀取的文件。
2、 mysqlhotcopy
2.1 備份
mysqlhotcopy 是一個 PERL 程序,最初由Tim Bunce編寫。它使用 LOCK TABLES、FLUSH TABLES 和 cp 或 scp 來快速備份數據庫。它是備份數據庫或單個表的最快的途徑,但它只能運行在數據庫文件(包括數據表定義文件、數據文件、索引文件)所在的機器上。mysqlhotcopy 只能用於備份 MyISAM,並且只能運行在 類Unix 和 NetWare 系統上。
mysqlhotcopy 支持一次性拷貝多個數據庫,同時還支持正則表達。以下是幾個例子:
root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name /tmp (把數據庫目錄 db_name 拷貝到 /tmp 下) root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name_1 ...db_name_n /tmp root#/usr/local/mysql/bin/mysqlhotcopy -h =localhost -u=yejr -p=yejr db_name./regex/ /tmp |
更詳細的使用方法請查看手冊,或者調用下面的命令來查看 mysqlhotcopy 的幫助:
perldoc /usr/local/mysql/bin/mysqlhotcopy |
注意,想要使用 mysqlhotcopy,
必須要有 SELECT、RELOAD(要執行 FLUSH TABLES) 權限,並且還必須要能夠有讀取 datadir/db_name 目錄的權限。
2.2 還原
mysqlhotcopy備份出來的是整個數據庫目錄,使用時可以直接拷貝到 mysqld 指定的 datadir (在這裏是 /usr/local/mysql/data/)目錄下即可,同時要注意權限的問題,如下例:
root#cp -rf db_name /usr/local/mysql/data/root#chown -R nobody:nobody /usr/local/mysql/data/ |
(將 db_name 目錄的屬主改成 mysqld 運行用戶)
3、 SQL 語法備份
3.1 備份
BACKUP TABLE 語法其實和 mysqlhotcopy 的工作原理差不多,都是鎖表,然後拷貝數據文件。它能實現在線備份,但是效果不理想,因此不推薦使用。它只拷貝表結構文件和數據文件,不同時拷貝索引文件,因此恢復時比較慢。例子:
BACK TABLE tbl_name TO '/tmp/db_name/'; |
注意,必須要有 FILE 權限才能執行本SQL,並且目錄 /tmp/db_name/ 必須能被 mysqld 用戶可寫,導出的文件不能覆蓋已經存在的文件,以避免安全問題。
SELECT INTO OUTFILE 則是把數據導出來成爲普通的文本文件,可以自定義字段間隔的方式,方便處理這些數據。
例子:
SELECT INTO OUTFILE '/tmp/db_name/tbl_name.txt' FROM tbl_name; |
注意,必須要有 FILE 權限才能執行本SQL,並且文件 /tmp/db_name/tbl_name.txt 必須能被 mysqld 用戶可寫,導出的文件不能覆蓋已經存在的文件,以避免安全問題。
3.2 恢復
用 BACKUP TABLE 方法備份出來的文件,可以運行 RESTORE TABLE 語句來恢復數據表。例子: RESTORE TABLE FROM '/tmp/db_name/';權限要求類似上面所述。
用 SELECT INTO OUTFILE 方法備份出來的文件,可以運行 LOAD DATA INFILE 語句來恢復數據表。例子:
LOAD DATA INFILE '/tmp/db_name/tbl_name.txt' INTO TABLE tbl_name; |
權限要求類似上面所述。倒入數據之前,數據表要已經存在才行。如果擔心數據會發生重複,可以增加 REPLACE 關鍵字來替換已有記錄或者用 IGNORE 關鍵字來忽略他們。
補充:
shell> mysqldump --quick db_name | gzip > db_name.contents.gz |
(該例子中創建的文件是壓縮格式)。
恢復/轉移到另一臺的命令如下:
shell> gunzip < db_name.contents.gz | mysql db_name |
以上命令,適用於*nix 操作系統的機器
4、 啓用二進制日誌(binlog)
採用 binlog 的方法相對來說更靈活,省心省力,而且還可以支持增量備份。
啓用 binlog 時必須要重啓 mysqld。首先,關閉 mysqld,打開 my.cnf,加入以下幾行:
server-id = 1 log-bin = binloglog-bin-index = binlog.index |
然後啓動 mysqld 就可以了。運行過程中會產生 binlog.000001 以及 binlog.index,前面的文件是 mysqld 記錄所有對數據的更新操作,後面的文件則是所有 binlog 的索引,都不能輕易刪除。關於 binlog 的信息請查看手冊。
需要備份時,可以先執行一下 SQL 語句,讓 mysqld 終止對當前 binlog 的寫入,就可以把文件直接備份,這樣的話就能達到增量備份的目的了: FLUSH LOGS;如果是備份複製系統中的從服務器,還應該備份 master.info 和 relay-log.info 文件。
備份出來的 binlog 文件可以用 MySQL 提供的工具 mysqlbinlog 來查看,如:
/usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001 |
該工具允許你顯示指定的數據庫下的所有 SQL 語句,並且還可以限定時間範圍,相當的方便,詳細的請查看手冊。
恢復時,可以採用類似以下語句來做到:
/usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001 | mysql -uyejr -pyejr db_name |
把 mysqlbinlog 輸出的 SQL 語句直接作爲輸入來執行它。
如果你有空閒的機器,不妨採用這種方式來備份。由於作爲 slave 的機器性能要求相對不是那麼高,因此成本低,用低成本就能實現增量備份而且還能分擔一部分數據查詢壓力,何樂而不爲呢?
5、 直接備份數據文件
相較前幾種方法,備份數據文件最爲直接、快速、方便,缺點是基本上不能實現增量備份。爲了保證數據的一致性,需要在靠背文件前,執行以下 SQL 語句: FLUSH TABLES WITH READ LOCK;也就是把內存中的數據都刷新到磁盤中,同時鎖定數據表,以保證拷貝過程中不會有新的數據寫入。這種方法備份出來的數據恢復也很簡單,直接拷貝回原來的數據庫目錄下即可。
注意,對於 Innodb 類型表來說,還需要備份其日誌文件,即 ib_logfile* 文件。因爲當 Innodb 表損壞時,就可以依靠這些日誌文件來恢復。
6、 備份策略對於中等級別業務量的系統來說,備份策略可以這麼定:第一次全量備份,每天一次增量備份,每週再做一次全量備份,如此一直重複。而對於重要的且繁忙的系統來說,則可能需要每天一次全量備份,每小時一次增量備份,甚至更頻繁。爲了不影響線上業務,實現在線備份,並且能增量備份,最好的辦法就是採用主從複製機制(replication),在 slave 機器上做備份。
7、 數據維護和災難恢復作爲一名DBA(我目前還不是,呵呵),最重要的工作內容之一是保證數據表能安全、穩定、高速使用。因此,需要定期維護你的數據表。以下 SQL 語句就很有用: CHECK TABLE 或 REPAIR TABLE,檢查或維護 MyISAM 表OPTIMIZE TABLE,優化 MyISAM 表.ANALYZE TABLE,分析 MyISAM 表當然了,上面這些命令起始都可以通過工具 myisamchk 來完成,在這裏不作詳述。
Innodb 表則可以通過執行以下語句來整理碎片,提高索引速度:
ALTER TABLE tbl_name ENGINE = Innodb; |
這其實是一個 NULL 操作,表面上看什麼也不做,實際上重新整理碎片了。
通常使用的 MyISAM 表可以用上面提到的恢復方法來完成。如果是索引壞了,可以用 myisamchk 工具來重建索引。而對於 Innodb 表來說,就沒這麼直接了,因爲它把所有的表都保存在一個表空間了。不過 Innodb 有一個檢查機制叫 模糊檢查點,只要保存了日誌文件,就能根據日誌文件來修復錯誤。可以在 my.cnf 文件中,增加以下參數,讓 mysqld 在啓動時自動檢查日誌文件:
innodb_force_recovery = 4 |
關於該參數的信息請查看手冊。
8、 總結做好數據備份,定只好合適的備份策略,這是一個DBA所做事情的一小部分,萬事開頭難,就從現在開始吧!
======================================================================
======================================================================
使用mysqldump的用戶,必須至少具有SELECT 和 LOCK TABLES的權限。庫或者表。
如果要使用--tab開關,還必須有FILE的權限
準備工作:
庫以及表:
Table Create Table
------ -----------------------------------------
pwss CREATE TABLE `pwss` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(64) DEFAULT NULL,
`description` mediumtext,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
mysql> grant usage on *.* to 'dump_user'@'localhost' identified by 'dump_user';
Query OK, 0 rows affected (0.00 sec)
(這個語句可以省略,因爲默認的都有USAGE權限。)
mysql> grant lock tables on *.* to 'dump_user'@'localhost';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
mysql> show grants for 'dump_user'@'localhost';
+-------------------------------------------------------------------------------
-----------------------------------------+
| Grants for dump_user@localhost
|
+-------------------------------------------------------------------------------
-----------------------------------------+
| GRANT LOCK TABLES ON *.* TO 'dump_user'@'localhost' IDENTIFIED BY PASSWORD '*9
E3A8684DFAF643FD3D08D24C0432C0101417D8B' |
+-------------------------------------------------------------------------------
-----------------------------------------+
1 row in set (0.00 sec)
如果您想把整個數據庫woshitTest的內容導到一個文件中,可以使用下面的命令:
C:/>mysqldump -udump_user -pdump_user woshitTest > c://woshitTestDumpFile.txt(默認的是當前路徑,其他的請用完整路徑)
這條命令行也可以加上以下開關:
--databases (--all-databases)
如果只是想單獨把表 pwSS 導出:
C:/>mysqldump -udump_user -pdump_user woshitTest pwss> c://woshitTestDumpFilePwss.txt
如果你想要導出某一條記錄的話,帶上開關--where="你的SQL語句"
--where="id=1" 或者 -w="id=1"
MYSQLDUMP 還有其他的開關列表如下:
--add-drop-table
這個選項將會在每一個表的前面加上DROP TABLE IF EXISTS語句,這樣可以保證IMPORT您的MySQL數據庫的時候不會出錯,因爲每次導回的時候,都會首先檢查表是否存在,存在就刪除
--add-locks(這個開關我個人不推薦)
這個選項會在INSERT語句中捆上一個LOCK TABLE和UNLOCK TABLE語句。這就防止在這些記錄被再次導入數據庫時其他用戶對錶進行的操作
實例:
LOCK TABLES `pwss` WRITE;
/*!40000 ALTER TABLE `pwss` DISABLE KEYS */;
INSERT INTO `pwss` VALUES (1,'weiwei','I love this girl');
/*!40000 ALTER TABLE `pwss` ENABLE KEYS */;
UNLOCK TABLES;
-c or - complete_insert
這個選項使得mysqldump命令給每一個產生INSERT語句加上列(field)的名字。當把數據導出導另外一個數據庫時這個選項很有用。
實例:
INSERT INTO `pwss` (`id`, `username`, `description`) VALUES (1,'weiwei','I love this girl');
--delayed-insert
在INSERT命令中加入DELAY選項
-F or -flush-logs
在執行導出之前將會刷新MySQL服務器的log.
-f or -force
即使有錯誤發生,仍然繼續導出
-l or --lock-tables
導出表的時候服務器將會給表加鎖。(同上:--add-locks)
-t or --no-create- info
這個選項使的mysqldump命令不創建CREATE TABLE語句,這個選項在您只需要數據而不需要DDL(數據庫定義語句)時很方便。
-d or --no-data
這個選項使的mysqldump命令不創建INSERT語句。
在您只需要DDL語句時,可以使用這個選項。
--opt
此選項將打開所有會提高文件導出速度和創造一個可以更快導入的文件的選項。(個人推薦。
如果沒有使用--opt,MYSQLDUMP就會把整個結果集裝載到內存中,然後導出。如果數據非常大就會導致導出失敗。這個開關在默認情況下是啓用的,如果不想啓用它:--skip-opt來關閉它。)
-q or -quick
這個選項使得MySQL不會把整個導出的內容讀入內存再執行導出,而是在讀到的時候就寫入導文件中。這個和上面的開關一個意思。
--tab = path
這個選項將會創建兩個文件,一個文件包含DDL語句或者表創建語句,另一個文件包含數據。DDL文件被命名爲tableName.sql,數據文件被命名爲tableName.txt.路徑名是存放這兩個文件的目錄。目錄必須已經存在,並且命令的使用者有對文件的特權。
(tableName.txt的結果相當於用select * from tablename into outfile的生成數據)
--allow-keywords
允許創建是關鍵詞的列名字。這由表名前綴於每個列名做到。
-C, --compress
如果客戶和服務器均支持壓縮,壓
縮兩者間所有的信息。
-e, --extended-insert
使用全新多行INSERT語法。(給出更緊縮並且更快的插入語句)
-#, --debug[=option_string]
跟蹤程序的使用(爲了調試)。
--help
顯示一條幫助消息並且退出。
--fields-terminated-by=...
--fields-enclosed-by=...
--fields-optionally-enclosed-by=...
--fields-escaped-by=...
--fields-terminated-by=...
這些選擇與-T選擇一起使用,並且有相應的LOAD DATA INFILE子句相同的含義。
-pyour_pass, --password[=your_pass]
與服務器連接時使用的口令。如果你不指定“=your_pass”部分,mysqldump需要來自終端的口令。
-P port_num, --port=port_num
與一臺主機連接時使用的TCP/IP端口號。(任何系統通用)
-S /path/to/socket, --socket=/path/to/socket
與localhost連接時(它是缺省主機)使用的套接字文件。 (用於linux系統)
-u user_name, --user=userName
與服務器連接時,MySQL使用的用戶名。 (LINUX系統缺省的who am i 的結果)
-O var=option, --set-variable var=option
設置一個變量的值。可能的變量被列在下面。
-v, --verbose
冗長模式。打印出程序所做的更多的信息。(也就是詳細信息)
-B 開關可以生成CREATE DATABASE語句:
C:/>mysqldump -udump_user -pdump_user -B woshitTest --add-drop-table -c> c://1.txt
--tables
這個很有用的一個開關。
用於跳過--databases或者-B開關。該開關後面的所有名字均被認爲是表名。
實例:
C:/>mysqldump -udump_user -pdump_user -B woshitTest --tables pwss --add-drop-table -c -R
>> c://1.txt
-R
如果要導出存儲過程,加 -R開關即可。
實例:
C:/>mysqldump -udump_user -pdump_user woshitTest pwss --add-drop-table -c --tab="c://" -
v
-- Connecting to localhost...
-- Retrieving table structure for table pwss...
-- Sending SELECT query...
-- Disconnecting from localhost...
-V, --version
打印版本信息並且退出。
這裏只談了備份,不過恢復是最最主要的:
mysql -udump_user -pdump_user woshittest< 1.txt