Mysql 之 MHA架構集羣部署

環境

注意，系統版本對安裝MHA有影響

OS：三臺 CentOS Linux release 7.3.1611 (Core)

mysql： mysql Ver 14.14 Distrib 5.7.12, for Linux (x86_64)

MHA： mha4mysql-0.58

服務器信息

10.150.132.103	VIP

10.150.132.100  master
10.150.132.101  slave
10.150.132.102	slave -- manager

關閉SeLinux

setenforce 0

關閉防火牆

systemctl stop firewalld.service

ssh互信

1.所有節點操作

cd /root/.ssh/
ssh-keygen -t dsa -P '' -f id_dsa
cat id_dsa.pub >> authorized_keys

2.將從庫密鑰發送到主庫，併合並密鑰，之後將合併的密鑰發送到從庫

scp 10.150.132.101:/root/.ssh/authorized_keys ./authorized_keys.3
scp 10.150.132.102:/root/.ssh/authorized_keys ./authorized_keys.4

cat authorized_keys.3 >> authorized_keys
cat authorized_keys.4 >> authorized_keys

scp authorized_keys 10.150.132.101:/root/.ssh/
scp authorized_keys 10.150.132.102:/root/.ssh/

3.使用ssh ip可以不輸入密碼直接登陸到目標服務器

完成互信

主從複製配置

前提是已經安裝好mysql 5.7

1.配置文件信息,在原有的配置上加上這些就好，配置完之後要重啓服務

[client]
user=root
password=123456

[mysqld]
#每個server上不一致，只需要在其他服務器上覆制這些並修改server-id爲不同數字即可
server-id = 3
#read-only=1    #不在配置文件中限定只讀，但是要記得在slave上限制只讀

#mysql5.6已上的特性，開啓gtid，必須主從全開
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates = 1

#開啓半同步複製  否則自動切換主從的時候會報主鍵錯誤
plugin_load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"
loose_rpl_semi_sync_master_enabled = 1
loose_rpl_semi_sync_slave_enabled = 1
loose_rpl_semi_sync_master_timeout = 5000

log-bin=mysql-bin
relay-log = mysql-relay-bin
#忽略哪些表
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=test.%
replicate-wild-ignore-table=information_schema.%

2.在3個mysql節點都做授權(主從複製授權)

mysql> grant replication slave on *.* to 'repl_user'@'10.150.132.%' identified by '123456';
mysql> grant all on *.* to 'root'@'10.150.132.%' identified by '123456';

3.在兩個salve節點上執行，只讀限制（防止意外被寫數據，很重要）

mysql> set global read_only=1;

4.在主master上查看狀態

mysql> show master status;

記錄File信息和Position信息，待會slave節點需要。

5.在兩個slave節點執行同步操作

mysql> stop slave;
# master_log_file填寫File信息，master_log_pos填寫position信息
mysql> change master to master_host='10.150.132.100',master_user='repl_user',master_password='123456',master_log_file='mysql-bin.000002',master_log_pos=744;
mysql> start slave;

#查看slave IO和slave sql是否都正常
mysql> show slave status\G; 

#結果顯示中查找下面顯示
#Slave_IO_Running: Yes
#Slave_SQL_Running: Yes

安裝MHA軟件

1.安裝MHA的node軟件

（在三個節點上都裝mha的node軟件）

#安裝依賴
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm
yum install -y perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager

#下載MHA的node軟件
wget https://qiniu.wsfnk.com/mha4mysql-node-0.58-0.el7.centos.noarch.rpm
rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm

2.只在manager節點安裝mha的管理軟件

wget https://qiniu.wsfnk.com/mha4mysql-manager-0.58-0.el7.centos.noarch.rpm
rpm -ivh mha4mysql-manager-0.58-0.el7.centos.noarch.rpm

3.安裝mail，支持發送郵件(可選)

yum install mailx -y

配置MHA

只在manager節點配置

1.創建腳本目錄

mkdir -p /etc/mha/scripts

2.配置全局配置文件，也可以和主配置文件寫到一起。不過會顯示找不到全局配置文件。這裏分開寫了。

vi /etc/masterha_default.cnf

[server default]
#管理賬號
user=root
password=123456
#ssh賬號
ssh_user=root
#複製賬號
repl_user=repl_user
repl_password=123456
ping_interval=1
secondary_check_script=masterha_secondary_check -s 10.150.132.100 -s 10.150.132.101 -s 10.150.132.102
master_ip_failover_script="/etc/mha/scripts/master_ip_failover"
master_ip_online_change_script="/etc/mha/scripts/master_ip_online_change"
#這裏是發送郵件腳本，如果沒有，可註釋掉
report_script="/etc/mha/scripts/send_report"

3.配置主配置文件

vi /etc/mha/app1.cnf

[server default]
#目錄後面會創建的
manager_log=/var/log/mha/app1/manager.log
manager_workdir=/var/log/mha/app1

[server1]
#master備選服務器
candidate_master=1
hostname=10.150.132.100
master_binlog_dir="/opt/mysql/data"
#查看方式　find / -name mysql-bin*

[server2]
candidate_master=1
hostname=10.150.132.101
master_binlog_dir="/opt/mysql/data"

[server3]
hostname=10.150.132.102
master_binlog_dir="/opt/mysql/data"
#沒有機會成爲master，MHA的manager不能是master
no_master=1

4.配置VIP，服務器切換腳本

vi /etc/mha/scripts/master_ip_failover

# 將腳本複製，修改VIP地址和網卡即可
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;

my (
        $command,   $ssh_user,  $orig_master_host,
        $orig_master_ip,$orig_master_port, $new_master_host, $new_master_ip,$new_master_port
);

#定義VIP變量
my $vip = '10.150.132.103/24';
my $key = '1';
#這裏修改網卡enp0s3
my $device='enp0s3';

#my $ssh_start_vip = "/sbin/ifconfig enp0s3:$key $vip";	
#my $ssh_stop_vip = "/sbin/ifconfig enp0s3:$key down";

my $ssh_start_vip = "/usr/sbin/ip addr add $vip dev $device";	
my $ssh_stop_vip = "/usr/sbin/ip addr del $vip dev $device";

GetOptions(
        'command=s'     => \$command,
        'ssh_user=s'        => \$ssh_user,
        'orig_master_host=s'    => \$orig_master_host,
        'orig_master_ip=s'  => \$orig_master_ip,
        'orig_master_port=i'    => \$orig_master_port,
        'new_master_host=s' => \$new_master_host,
        'new_master_ip=s'   => \$new_master_ip,
        'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {
        print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
        if ( $command eq "stop" || $command eq "stopssh" ) {
                my $exit_code = 1;
                eval {
                        print "Disabling the VIP on old master: $orig_master_host \n";
                        &stop_vip();
                        $exit_code = 0;
                };
                if ($@) {
                        warn "Got Error: $@\n";
                        exit $exit_code;
                }
                exit $exit_code;
        }

        elsif ( $command eq "start" ) {
        my $exit_code = 10;
        eval {
                print "Enabling the VIP - $vip on the new master - $new_master_host \n";
                &start_vip();
                $exit_code = 0;
        };

        if ($@) {
                warn $@;
                exit $exit_code;
                 }
        exit $exit_code;
        }

        elsif ( $command eq "status" ) {
                print "Checking the Status of the script.. OK \n";
                exit 0;
        }
        else {
                &usage();
                exit 1;
        }
}

sub start_vip() {
        `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
        return 0 unless ($ssh_user);
        `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
        print
        "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}                

5.配置警告腳本(郵件通知，可選)

vi /etc/mail.rc

##文件最後面添加如下信息，這個郵件信息就是未來服務器出現故障，使用這個郵箱發送給你指定的郵箱。
set from=[email protected]      #發件人的郵箱
set smtp="smtp.qq.com"                  #smtp服務器地址
set smtp-auth-user="[email protected]"          #發件人的郵箱地址
set smtp-auth-password="43215435safdsf"       #發件人的郵箱smtp授權碼，可百度查找如何獲取
set smtp-auth=login                             #login登錄

vi /etc/mha/scripts/send_report

##複製腳本內容，修改收件人地址。當服務器出現問題，會發郵件到這個郵箱

#!/bin/bash
source /root/.bash_profile
# 解析變量
orig_master_host=`echo "$1" | awk -F = '{print $2}'`
new_master_host=`echo "$2" | awk -F = '{print $2}'`
new_slave_hosts=`echo "$3" | awk -F = '{print $2}'`
subject=`echo "$4" | awk -F = '{print $2}'`
body=`echo "$5" | awk -F = '{print $2}'`
#定義收件人地址
email="[email protected]"

tac /var/log/mha/app1/manager.log | sed -n 2p | grep 'successfully' > /dev/null
if [ $? -eq 0 ]
        then
        messages=`echo -e "MHA $subject 主從切換成功\n master:$orig_master_host --> $new_master_host \n $body \n 當前從庫:$new_slave_hosts"`
        echo "$messages" | mail -s "Mysql 實例宕掉，MHA $subject 切換成功" $email >>/tmp/mailx.log 2>&1
        else
        messages=`echo -e "MHA $subject 主從切換失敗\n master:$orig_master_host --> $new_master_host \n $body" `
        echo "$messages" | mail -s ""Mysql 實例宕掉，MHA $subject 切換失敗"" $email >>/tmp/mailx.log 2>&1
fi

重啓mail服務

systemctl restart postfix.service 	 #重啓服務

6.配置VIP腳本

vi /etc/mha/scripts/master_ip_online_change

# 將腳本複製，修改VIP地址和網卡即可

#!/bin/bash
source /root/.bash_profile

vip=`echo '10.150.132.103/24'`  #設置VIP
key=`echo '1'`

#如何查看可用網卡： ip a
device=`echo 'enp0s3'`		#設置網卡

command=`echo "$1" | awk -F = '{print $2}'`
orig_master_host=`echo "$2" | awk -F = '{print $2}'`
new_master_host=`echo "$7" | awk -F = '{print $2}'`
orig_master_ssh_user=`echo "${12}" | awk -F = '{print $2}'`
new_master_ssh_user=`echo "${13}" | awk -F = '{print $2}'`

#要求服務的網卡識別名一樣，都爲enp0s3(這裏是)
#如果不支持ifconfig，可以使用ip
#stop_vip=`echo "ssh root@$orig_master_host /usr/sbin/ifconfig enp0s3:$key down"`
#start_vip=`echo "ssh root@$new_master_host /usr/sbin/ifconfig enp0s3:$key $vip"`

stop_vip=`echo "ssh root@$orig_master_host /usr/sbin/ip addr del $vip dev $device"`
start_vip=`echo "ssh root@$new_master_host /usr/sbin/ip addr add $vip dev $device"`

if [ $command = 'stop' ]
  then
        echo -e "\n\n\n****************************\n"
        echo -e "Disabled thi VIP - $vip on old master: $orig_master_host \n"
        $stop_vip
        if [ $? -eq 0 ]
          then
        echo "Disabled the VIP successfully"
          else
        echo "Disabled the VIP failed"
        fi
        echo -e "***************************\n\n\n"
  fi

if [ $command = 'start' -o $command = 'status' ]
  then
        echo -e "\n\n\n*************************\n"
        echo -e "Enabling the VIP - $vip on new master: $new_master_host \n"
        $start_vip
        if [ $? -eq 0 ]
          then
        echo "Enabled the VIP successfully"
          else
        echo "Enabled the VIP failed"
        fi
        echo -e "***************************\n\n\n"
fi

7.腳本添加執行權限

chmod +x /etc/mha/scripts/master_ip_failover 
chmod +x /etc/mha/scripts/master_ip_online_change 
chmod +x /etc/mha/scripts/send_report 

8.通過 masterha_check_ssh 驗證 ssh 信任登錄是否成功

masterha_check_ssh --conf=/etc/mha/app1.cnf

結果：

[info] All SSH connection tests passed successfully.

9.通過 masterha_check_repl 驗證 mysql 主從複製是否成功(下面輸出表示測試通過)

masterha_check_repl --conf=/etc/mha/app1.cnf

結果：

MySQL Replication Health is OK.

如果系統版本和軟件版本都對，按照上面步驟執行不會有問題。如果不行報錯，下面鏈接可以幫助你快速找到解決方法，雖然我試了沒用，沒準你有用呢？

https://blog.csdn.net/q936889811/article/details/80077344
https://my.oschina.net/gibsonxue/blog/1575939
https://blog.51cto.com/13805636/2301083
https://www.cnblogs.com/polestar/p/5371080.html
https://blog.51cto.com/arthur376/1812640

總結：
所有的錯誤都是系統和軟甲版本的問題。

啓動MHA

1.在master上綁定VIP(只需要綁定一次即可)

ip addr add 10.150.132.103/24 dev enp0s3

2.然後通過 masterha_manager 啓動 MHA 監控(在manager角色上執行)

#創建日誌目錄
mkdir /var/log/mha/app1 -p
touch /var/log/mha/app1/manager.log

#啓動mha監控
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

#這樣 MHA 的日誌保存在/var/log/mha/app1/manager.log 下
tailf /var/log/masterha/app1/manager.log

#如果最後一行是如下，表明啓動成功
[info] Ping(SELECT) succeeded, waiting until MySQL doesn’t respond..

3.檢查集羣狀態

masterha_check_status --conf=/etc/mha/app1.cnf

測試

自動切換

模擬master宕機了

第一：要實現自動 Failover,必須先啓動 MHA Manager,否則無法自動切換
    A、殺掉主庫 mysql 進程,模擬主庫發生故障,進行自動 failover 操作。
    B、看 MHA 切換日誌,瞭解整個切換過程
    
    tailf /var/log/mha/app1/manager.log
    killall mysqld

第二：從上面的輸出可以看出整個 MHA 的切換過程,共包括以下的步驟：
    1).配置文件檢查階段,這個階段會檢查整個集羣配置文件配置
    2).宕機的 master 處理,這個階段包括虛擬 ip 摘除操作,主機關機操作（由於沒有定義power_manager腳本，不會關機）
    3).複製 dead maste 和最新 slave 相差的 relay log,並保存到 MHA Manger 具體的目錄下
    4).識別含有最新更新的 slave
    5).應用從 master 保存的二進制日誌事件(binlog events)（這點信息對於將故障master修復後加入集羣很重要）
    6).提升一個 slave 爲新的 master 進行復制
    7).使其他的 slave 連接新的 master 進行復制

第三：切換完成後,關注如下變化:
    1、vip 自動從原來的 master 切換到新的 master,同時,manager 節點的監控進程自動退出。
    2、在日誌目錄(/var/log/mha/app1)產生一個 app1.failover.complete 文件
    3、/etc/mha/app1.cnf 配置文件中原來老的 master 配置被刪除。

在線切換(用於硬件升級)

    #MHA 在線切換是 MHA 除了自動監控切換換提供的另外一種方式,多用於諸如硬件升級，MySQL 數據庫遷移等等。該方式提供快速切換和優雅的阻塞寫入,無需關閉原有服務器，整個切換過程在 0.5-2s 的時間左右,大大減少了停機時間

第一：注意點：前提，mha監控沒有運行的情況下，才能進行
    A、老master上的vip已經正確生效了
    B、各個salve節點數據庫的sql_IO和sql_sql進程都正常（即YES)
        show slave status\G;
    C、MHA腳本不能運行，若已處於監控狀態，需要停掉它
        masterha_stop --conf=/etc/mha/app1.cnf

    #若是mha監控進程在運行，會報如下錯誤
Sat May 19 03:40:00 2018 - [error][/usr/share/perl5/vendor_perl/MHA/MasterRotate.pm, ln143] Getting advisory lock failed on the current master. MHA Monitor runs on the current master. Stop MHA Manager/Monitor and try again.
Sat May 19 03:40:00 2018 - [error][/usr/share/perl5/vendor_perl/MHA/ManagerUtil.pm, ln177] Got ERROR:  at /usr/bin/masterha_master_switch line 53.

第二：執行切換
    #需要填寫新的master的IP
    masterha_master_switch --conf=/etc/mha/app1.cnf --master_state=alive --new_master_host=10.150.132.101 --orig_master_is_new_slave --running_updates_limit=10000 --interactive=0

第三：MHA 在線切換基本步驟：
    a、檢測 MHA 配置置及確認當前 master
    b、決定新的 master
    c、阻塞寫入到當前 master
    d、等待所有從服務器與現有 master 完成同步
    e、在新 master 授予寫權限,以及並行切換從庫
    f、重置原 master 爲新 master 的 slave
    g、在線切換不會刪除/etc/mha/app1.cnf 配置文件中原來老的 master 配置

如何將故障點重新加入集羣

通常情況下自動切換以後,原 master 可能已經廢棄掉,待原 master 主機修復後,如果數據完整的情況下,可能想把原來 master 重新作爲新主庫的 slave,這時我們可以藉助當時自動切換時刻的 MHA 日誌來完成對原 master 的修復

(1)、修改 manager 配置文件（只針對自動切換的，在線切換不會刪除配置）
    #將如下內容添加到/etc/mha/app1.conf 中
    [server1]
    hostname=10.150.132.100
    candidate_master=1
    master_binlog_dir="/opt/mysql/data"

(2)、修復老的 master,然後設置爲 slave
    從自動切換時刻的 MHA 日誌上可以發現類似如下信息：
    cat /var/log/mha/app1/manager.log

	[info]  All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='10.150.132.101', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl_user', MASTER_PASSWORD='xxx';
	#意思是說,如果 Master 主機修復好了,可以在修復好後的 Master 上執行 CHANGE MASTER操作,作爲新的 slave 庫。

	在老的 master 執行如下命令:(具體執行哪條，根據上面輸出來確定)
    mysql> CHANGE MASTER TO MASTER_HOST='10.150.132.101', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl_user', MASTER_PASSWORD='123456';

    mysql> start slave;
    mysql> show slave status\G;

    #這樣,數據就開始同步到老的 master 上了。此時老的 master 已經重新加入集羣,變成 mha集羣中的一個 slave 角色了。

(3)、在 manger 節點上重新啓動監控進程
    nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

本文參考文章：

https://blog.csdn.net/weixin_44297303/article/details/100854872

https://boke.wsfnk.com/archives/537.html