Percona MongoDB HotBackup熱備份工具

Percona MongoDB HotBackup熱備份工具


前言:

目前官方MongoDB社區版是不支持Hot Backup熱備份的,我們只能通過mongodump等邏輯備份工具導出bson文件,再mongorestore導入,類似MySQL的mysqldump工具。


在備份副本集時,我們需指定--oplog選項記錄備份間產生的增量數據,類似mysqldump --single-transaction --master-data=2(做一致性快照並記錄當前的binlog點)。


對副本集的成員恢復,需先切成單機版,mongorestore必須指定--oplogReplay選項,以恢復到某一時刻的快照,最後還需填充oplog(增量數據以哪個位置點開始斷點續傳),mongorestore -d local -c oplog.rs dump/oplog.bson,最後一步再切爲副本集成員重新啓動。


中小型數據庫備份起來簡單快捷,如果過TB級的數據量,那將是痛苦的。


如果你的oplog設置過小,很有可能在備份恢復這段時間,oplog被覆蓋重寫,那麼你將永遠無法加入副本集集羣裏。


概述:

Percona MongoDB3.2版本默認開始支持WiredTiger引擎的在線熱備份,解決了官方版只能通過mongodump邏輯備份這一缺陷。


參考文獻:

https://www.percona.com/doc/percona-server-for-mongodb/LATEST/hot-backup.html#hot-backup


注意事項:

1、要在當前dbpath中對數據庫進行熱備份,請在admin數據庫上以管理員身份運行createBackup命令,並指定備份目錄。

2、可以替換一臺從庫爲Percona MongoDB,做備份使用。(我這裏實測是Percona MongoDB 3.4版本)


Percona MongoDB HotBackup熱備份原理:

你可以想象成xtrabackup工具


備份:

1、首先會啓動一個後臺檢測的進程,實時檢測MongoDB Oplog的變化,一旦發現oplog有新的日誌寫入,立刻將日誌寫入到日誌文件WiredTiger.backup中(你可以strings WiredTiger.backup查看oplog操作日誌的變化);

2、複製MongoDB dbpath的數據文件和索引文件到指定的備份目錄裏。

......


恢復:

1、將WiredTiger.backup日誌進行回放,將操作日誌變更應用到WiredTiger引擎裏,最終得到一致性快照恢復。

2、把備份目錄裏的數據文件直接拷貝到你的dbpath下,然後啓動MongoDB即可,會自動接入副本集集羣。



這裏我封裝了一個PHP腳本,直接在SHELL裏運行即可。

1、環境準備:

shell> yum install -y php-pear php-devel php gcc openssl openssl-devel cyrus-sasl cyrus-sasl-devel


2、php-mongo驅動安裝:

shell> pecl install mongo

把extension=mongo.so加入到/etc/php.ini最後一行。


3、創建mongodb超級用戶權限(備份時使用)

db.createUser({user:"admin",pwd:"123456",roles:[{role:"root",db:"admin"}]})


4、修改pmongo_bak.php配置信息

//修改下面的配置信息**//

$user = "admin"; //使用root用戶權限

$pwd = '123456';

$host = '192.168.180.26'; //在從庫上熱備

$port = '27017';

$authdb = 'admin'; //權限認證數據庫

$BAKDIR = "/data/bak/";

$BAKDIR .= date('Y_m_d_H_i_s');

//下面的代碼不用修改**//

$m = new MongoBak($user,$pwd,$host,$port,$authdb,$BAKDIR);

......


5、前臺運行:

shell> php pmongo_bak.php(以root權限運行)


6、寫入系統crontab裏

00 01 * * * /usr/bin/php /root/php_mongodb/pmongo_bak.php > /root/php_mongodb/bak_status.log 2 >&1


7、不支持遠程備份,需將備份腳本部署在從庫裏。如果你想把數據備份到遠程,可以採用NFS等文件系統mount掛載上。


下載地址:

https://github.com/hcymysql/PMongo-HotBackup





發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章