十年老站吐血遷移實錄

因爲一些內容審查方面的原因,一個運行了很久的論壇被要求限期遷移出現有機房。管制很嚴,要求在1-2天內完成。論壇的文件(主要是圖片及附件)100多G,數據庫有80G。我評估了一下,導出數據,部署新環境,導入數據,調試到能正常訪問,1-2天可能有點緊張,萬一遷移不順利,還得花費更多的時間。但沒辦法拒絕,先答應下來再說。


如果不想看文字,猛戳此處看視頻,臨場感更強。


跟其它技術人員討論了一下,先臨時採取投機取巧方式,應付檢查,其措施如下:

1、在其它不受內容審覈的地區,部署一個代理,用nginx就行。

2、修改現論壇web的監聽端口(由80改成8989),暫時先不改,配好nginx反向代理以後,綁定本地hosts,域名指向新部署服務器的ip地址,訪問確認沒問題,再修改到8989端口。同時代理nginx轉發端口也對應改成8989。

3、修改dns,把域名解析到代理web服務器的ip。

這樣處理,避開了審查,爲遷移贏得了時間。



安排異地機房的技術給我們部署系統,因爲經驗以及其它方面的原因,花了將近一天的時間才交付過來(幸虧採取了前邊的臨時措施)。爲了加快進度,我們自己做了分工,一人負責新系統部署php、nginx和mysql運行環境,而我負責導出數據。導出數據分兩部分:論壇數據本身壓縮打包、數據庫數據導出再壓縮打包。


開始,我習慣性的用mysqldump --all-databases 全庫導出,過程很順利,導出後打包再複製到別的地方,大概2個小時。新系統那邊,環境已經部署好了,我試着進行導入,進行了幾十分鐘,報錯,因爲中文字符的問題,嘗試了幾種方式,還是一樣,只得放棄。重新回源服務器,換成innobackup導出。悲催的是,這個服務器的系統太老了,爲centos 5.8,安裝xtrabackup有依賴問題,需要使用yum來處理一些依賴,但系統自帶的yum源沒有了,只好重新構造了一個Centos-Base.repo,其內容如下:

[base]

name=CentOS-$releasever - Base

#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os

#baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/

baseurl=http://vault.centos.org/5.11/os/$basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5


#released updates

[updates]

name=CentOS-$releasever - Updates

#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates

#baseurl=http://mirror.centos.org/centos/$releasever/updates/$basearch/

baseurl=http://vault.centos.org/5.11/updates/$basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5


#additional packages that may be useful

[extras]

name=CentOS-$releasever - Extras

#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras

#baseurl=http://mirror.centos.org/centos/$releasever/extras/$basearch/

baseurl=http://vault.centos.org/5.11/extras/$basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5


#additional packages that extend functionality of existing packages

[centosplus]

name=CentOS-$releasever - Plus

#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=centosplus

#baseurl=http://mirror.centos.org/centos/$releasever/centosplus/$basearch/

baseurl=http://vault.centos.org/5.11/centosplus/$basearch/

gpgcheck=1

enabled=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5


#contrib - packages by Centos Users

[contrib]

name=CentOS-$releasever - Contrib

#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=contrib

#baseurl=http://mirror.centos.org/centos/$releasever/contrib/$basearch/

baseurl=http://vault.centos.org/5.11/contrib/$basearch/

gpgcheck=1

enabled=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

再測試 yum install lrzsz 正常。


從網上下載備份的安裝包percona-xtrabackup-2.3.10.tar.gz,用yum 安裝libaio-devel、gcc,vim-comm等幾個依賴包。另外,在編譯該軟件是,會提示cmake的版本過低,需要替換一下。

下載cmake-3.9.6.tar.gz,tar開以後,執行 ./configure --prefix=/usr/local/cmake ;make ;make install 把新版本限定到目錄/usr/local/cmake,這樣就不用處理舊版本,也不會與其產生衝突。編譯安裝時,帶上cmake的全路徑:

/usr/local/cmake/bin/cmake -DBUILD_CONFIG=xtrabackup_release && make -j4 

如果出現“CMake Error at cmake/libev.cmake:23 (MESSAGE)”報錯信息,手動安裝包libev-3.7.tar.gz(yum不到的),步驟爲:

tar zxvf libev-3.7.tar.gz

cd libev-3.7

./configure

make;make install

這個不需要指定安裝路徑,方便cmake執行的時候找得到。

費了好大一通時間,才把這個備份軟件安裝好,雖然描述得有些囉嗦,但可能對其它人排錯會有幫助。


現在,開始切入正題.

執行備份

1、確保源數據庫處於啓動狀態

2、執行指令

innobackupex --user=root --password=MaGiCdB1 --defaults-file=/etc/my.cnf /data1/dumpdir

備份目錄是任意足夠大的分區

3、檢查備份目錄,是否產生數據

4、執行 innobackupex --apply-log  /data1/dumpdir/2018-03-30_11-10-53


壓縮和傳輸文件(論壇數據文件與此步驟相同,不再說明)


tar czvf 2018-03-30_11-10-53.tgz  2018-03-30_11-10-53

rsync -avz -e "ssh -p 2222 " 2018-03-30_11-10-53.tgz  120.189.55.109:/data1/

特別值得注意的是,由於數據量比較大,避免shell中斷導致任務終止,儘量在screen下進行操作,就算shell退出,也不會受到影響。

到此爲止,源服務器的操作暫告一段落。


數據量相對來說比較大,因此傳輸過程花了好長一段時間。在這同時,在目的服務器,把安裝好的環境配置成與源站基本一致(操作系統版本、php、ngnix、mysql做了升級):相同的目錄結構、相同的內網ip、相同的用戶帳號。這樣就可以直接把源站nginx配置、mysql配置、php原樣同步過來。目前因爲沒有數據庫數據導入及論壇文件,我先試着在nginx配置的站點根文檔寫一個php測試腳本test.php,內容爲:<? phpinfo(); ?>.把nginx及php服務都啓動起來,瀏覽器訪問該url,檢查一下php都有哪些模塊被加載,與源站是不是差不多的情形。測試完記得刪掉它,這個是安全隱患喲!


nginx的主配置文件nginx.conf如下(節錄):

user  www www;

worker_processes  8;


#dso {

#     load ngx_http_cache_purge_module.so;

#}


worker_rlimit_nofile 51200;


events {

 use epoll;

 #use kqueue;   #FreeBSD system

 worker_connections 51200;

}


http {

 include       mime.types;

....................此處省略.............................

map $request_method $limit {

        default         "";

        POST            $binary_remote_addr;

    }

limit_conn_zone $binary_remote_addr zone=one_limit:10m;

limit_req_zone $limit zone=zone_limit_post:10m rate=10r/m;

log_format post     '$remote_addr - $remote_user [$time_local]  '

                        '"$request" $status $body_bytes_sent '

                        '"$http_referer" "$http_user_agent" '

                        '$host $request_time $proxy_add_x_forwarded_for 

$request_body';


access_log /data/logs/http.a.log;

error_log  /data/logs/http.e.log;


#include vhosts/test.conf;

include vhosts/default.conf;

include vhosts/bbs.formyz.net.conf;

include vhosts/file.formyz.net.conf;

}

某個站點的配置文件 bbs.formyz.net.conf

server  {

    listen       80;

    server_name     bbs.formyz.net;

    error_page  404 http://bbs.formyz.net;

       

    access_log /data/logs/bbs.formyz.net-access;

    error_log  /data/logs/bbs.formyz.net-error;

    limit_conn one_limit 5;

    

    root  /data/html/bbs.formyz.net;

    index index.html index.htm  forum.php index.php;

    if ($host != 'bbs.formyz.net' ) {

        rewrite ^/(.*)$ http://bbs.formyz.net/$1 permanent;

    }


    if (-d $request_filename) {

        rewrite ^/(.*)([^/])$ http://$host:$server_port/$1$2/ permanent;

    }


    location ^~ /config {

        deny all;

    }


    location ^~ /.git

     {

        deny all;

      }


    location ~ /(data|static|template|images|uc_server/data)/.*\.(php|php5|html)?$ {

    deny all;

    location ~ .*\.(php|php5)$ {

        limit_req zone=zone_limit_post burst=5;

        if ($request_method = "POST") {

            access_log /data/logs/bbs.formyz.net-post post;

        }


        root    /data/html/bbs.formyz.net;

               fastcgi_pass  127.0.0.1:9000;

               fastcgi_index index.php;

               include fastcgi_params;

    }


    location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {

         expires      30d;

    }


    location ~ .*\.(js|css)?$ {

        expires      1h;

    }


    location / {

        limit_conn one_limit 5;

        rewrite ^(.*)/topic-(.+)\.html$ $1/portal.php?mod=topic&topic=$2 last;

        rewrite ^(.*)/article-([0-9]+)\.html$ $1/portal.php?mod=article&articleid=$2 last;

        rewrite ^(.*)/forum-(\w+)-([0-9]+)\.html$ $1/forum.php?mod=forum display&fid=$2&page=$3 last;

        rewrite ^(.*)/thread-([0-9]+)-([0-9]+)-([0-9]+)\.html$ $1/forum.php?mod=viewthread&tid=$2&extra=page%3D$4&page=$3 last;

        rewrite ^(.*)/group-([0-9]+)-([0-9]+)\.html$ $1/forum.php?mod=group&fid=$2&page=$3 last;

        rewrite ^(.*)/space-(username|uid)-(.+)\.html$ $1/home.php?mod=space&$2=$3 last;

        rewrite ^(.*)/([a-z]+)-(.+)\.html$ $1/$2.php?rewrite=$3 last;

        break;

    }

}

這裏是每一個站點,用一行include 顯示的包含。偏偏有不少人,至少我碰到不少,喜歡用 include *.conf把所有的站點都包含進去,我不太贊同這種做法,配置的時候你是方便了,可是到了要維護的時候,就不是那麼方便了。爲什麼這樣說?假設現在做維護,我打開nginx.conf大概就可以看到有哪些站點(當然文件命名也要規劃好,能望文生義);特別是在一個nginx下站點多的場景,對某個站點進行臨時維護,只要在主配置文件nginx.conf註釋掉與它關聯的include行,重載nginx即可。


接下來給出php-fpm.conf文件的部分內容:

[global]

error_log = log/php-fpm.log

process.max = 5000

rlimit_files = 10240


[www]

user = www

group = www

listen = 127.0.0.1:9000


pm = dynamic

pm.max_children = 5000

pm.start_servers = 50

pm.min_spare_servers = 20

pm.max_spare_servers = 80

pm.max_requests = 5000


access.log = log/php.access.log

slowlog = log/php.log.slow

request_slowlog_timeout = 3

與nginx相對應,php也以普通用戶www來運行,同時所有站點目錄,都授權屬主、屬組爲www,保證正確與合理的權限。一些經驗不足的人,不注意程序權限與目錄權限的對應關係,運行服務,只要提示權限不夠,就立馬執行 chmod -R 777 dir ,你這是在方便別人進入系統呢!另外,php開啓了慢查詢日誌,在運行中排錯或者排查性能問題會很有幫助,不過我自己不懂php,一般都是讓開發人員自己看這個日誌了,他懂的。


把論壇源站複製來的數據文件,tar解包後,放置在nginx指定的目錄,然後用chown  -R www:www /data/html 及chmod -R 755 賦權,這個過程比較容易完成,不再贅述。


前邊用mysqldump出來的文件,導入失敗,這次換成innobackup,根據以往的經驗,不應該有問題。注意,用此工具導入時,mysql不要初始化,也不要啓動(這個是廢話了,沒初始化當然不能啓動)。爲方便大家瞭解全過程,順便把mysql的選項文件my.cnf(不叫配置文件喲)貼出來,供大家參考:

[client]

port=3306

socket=/tmp/mysql.sock

[mysqld]

character-set-server=utf8

collation-server=utf8_general_ci


skip-external-locking

skip-name-resolve


user=mysql

port=3306

datadir=/data/mysql_db


open_files_limit=10240

back_log=600

max_connections=500

max_connect_errors=6000

wait_timeout=605800

#open_tables=600

#table_cache = 650

#opened_tables = 630


max_allowed_packet=32M

sort_buffer_size=4M

join_buffer_size=4M

thread_cache_size=300

query_cache_type=1

query_cache_size=256M

query_cache_limit=2M

query_cache_min_res_unit=16k


tmp_table_size=256M

max_heap_table_size=256M


key_buffer_size=256M

read_buffer_size=1M

read_rnd_buffer_size=16M

bulk_insert_buffer_size=64M


lower_case_table_names=1

default-storage-engine=INNODB


innodb_buffer_pool_size=2G

innodb_log_buffer_size=32M

innodb_log_file_size=128M

innodb_flush_method=O_DIRECT


thread_concurrency=32

long_query_time=2

slow-query-log=on

slow-query-log-file=/data/mysql_db/mysql-slow.log


[mysqldump]

quick

max_allowed_packet=32M


按my.cnf指定的"datadir=/data/mysql_db",創建好目錄/data/mysql_db,並執行chown -R mysql:mysql /data/mysql 授權。這時,/data/mysql_db目錄是空的。如果擔心出錯,坐好姿勢,深呼吸,莊重地敲入screen,然後再執行如下命令行(2018-03-30_11-10-53爲源數據庫文件解包後的目錄):

innobackupex  --defaults-file=/etc/my.cnf --copy-back /data/2018-03-30_11-10-53

這個過程同樣比較耗時,沒事的話,可以另外再開一個終端,進入目錄/data/mysql_db,可以看到不斷有目錄和文件自動生成。執行完畢且沒有報錯,基本上就大功告成了。由於安全的原因,mysql對連接帳戶有訪問限制,遷移到新系統以後,也一樣要遵循這個規則。前邊已經啓動了nginx 和php服務,這裏把mysql服務也啓動起來。在個人的電腦,綁定windows的hosts文件,把域名與服務器的ip地址臨時關聯起來,再在瀏覽器輸入域名,提示網頁無法訪問。已經檢查php等配置正確,那麼問題就在連接數據庫這個上邊了。進入論壇根文檔(nginx.conf裏邊root指定的那個),查看連數據庫相關的腳本,有好幾個呢,其中一個 config_global.php 部分內容爲:

.............部分省略....................

$_config = array();


// ----------------------------  CONFIG DB  ----------------------------

- //

$_config['db']['1']['dbhost'] = '172.16.28.94';

$_config['db']['1']['dbuser'] = 'bbs_formyz_net';

$_config['db']['1']['dbpw'] = '5O333EvbY';

$_config['db']['1']['dbcharset'] = 'gbk';

$_config['db']['1']['pconnect'] = '0';

$_config['db']['1']['dbname'] = 'bbs_formyz_net';

$_config['db']['1']['tablepre'] = 'pre_';

$_config['db']['common']['slave_except_table'] = '';

$_config['db']['slave'] = '';

..................................餘下省略........................

要解決問題,有兩個辦法:

(1)跟程序員協作,重新對每一個帳號授權(grant all ...);

(2)在系統上再配置一個 172.16.28.94的ip地址。

搞幾天時間了,大家都很累,因此爲了省事,我自己做主,在系統的另一個空閒網卡配置了上述私有ip地址。陪完重啓網絡服務,論壇可以打開,可以登錄了。


經過多人多測測試,確認沒問題以後,正式做域名解析到新的服務器ip。


還有些工作需要繼續完善,包括同步這幾天的新數據、開啓新的數據備份等。論壇數據用rysnc -e 'ssh -p 20002' -avz src dist同步;數據庫稍微麻煩一點,需要臨時把論壇停一會,啓用主從同步功能。由於源站用innobackup導出數據時,已經記錄了主從同步需要的信息(xtrabackup_info),因此同步過程就不需要再執行費時的導出操作,只需按偏移量執行同步就行。

more xtrabackup_info 

uuid = 188600e0-33cc-11e8-986b-90b11c180978

name = 

tool_name = innobackupex

tool_command = --defaults-file=/etc/my.cnf --user=root --password=... /data/databk/db_back

tool_version = 2.3.10

ibbackup_version = 2.3.10

server_version = 5.5.29-log

start_time = 2018-03-30 11:10:53

end_time = 2018-03-30 11:40:31

lock_time = 0

binlog_pos = filename 'mysql-bin.001258', position '571444300'

innodb_from_lsn = 0

innodb_to_lsn = 79320170996

partial = N

incremental = N

format = file

compact = N

compressed = N

encrypted = N

數據庫主從同步完成以後,把slave提升爲主。似乎寫得太長了,數據庫備份部分,就不再寫了。


如果不想看文字,猛戳此處看視頻,臨場感更強。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章