7月3日

18.1 集羣介紹

集羣介紹

 根據功能劃分爲兩大類：高可用和負載均衡

 高可用集羣，即“HA"集羣，也常稱作“雙機熱備”，用於關鍵業務。核心原理都是通過心跳線連接兩臺服務器，一臺用於提供服務，另外一臺作爲冗餘，當提供服務的機器宕機，冗餘將接替繼續提供服務,實現高可用的開源軟件有：heartbeat、keepalived。

 負載均衡集羣，需要有一臺服務器作爲分發器，它負責把用戶的請求分發給後端的服務器處理，在這個集羣裏，除了分發器外，就是給用戶提供服務的服務器了，這些服務器數量至少爲2臺，實現負載均衡的開源軟件有LVS、keepalived、haproxy、nginx，商業的有F5、Netscaler。

18.2 keepalived介紹

Keepalived介紹

 在這裏我們使用keepalived來實現高可用集羣，因爲heartbeat在centos6上有一些問題，影響實驗效果。

 keepalived通過VRRP（Virtual Router Redundancy Protocl，虛擬路由冗餘協議）來實現高可用。

 它是實現路由高可用的一種通信協議，在這個協議裏會將多臺功能相同的路由器組成一個小組，這個小組裏會有1個master角色和N（N>=1）個backup角色。

 master會通過組播的形式向各個backup發送VRRP協議的數據包，當backup收不到master發來的VRRP數據包時，就會認爲master宕機了。此時就需要根據各個backup的優先級來決定誰成爲新的mater。

 Keepalived要有三個模塊，分別是core、check和vrrp。其中core模塊爲keepalived的核心，負責主進程的啓動、維護以及全局配置文件的加載和解析，check模塊負責健康檢查，vrrp模塊是來實現VRRP協議的。

 

 

18.3-18.4-18.5 用keepalived配置高可用集羣

用Keepalived配置高可用集羣

生產環境中，很多企業把Nginx作爲負載均衡器來用，它的重要性很高，一旦宕機會導致整個站點不能訪問，所以有必要再準備一臺備用Nginx，Keepalived用在這種場景下非常合適。

1.準備工作

 準備兩臺機器10和11，10作爲master，11作爲backup。

 定義一個VIP：172.16.111.150

VIP的英文名字是“Virtual IP",即“虛擬IP",也有人把它叫作“浮動IP”，因爲這個IP是由Keepalived給服務器配置上的，服務器靠這個VIP對外提供服務，當master機器宕機，VIP被分配到backup上，這樣用戶看來是無感知的。

 兩臺機器都執行yum install -y keepalived

 兩臺機器都安裝nginx，其中10上已經使用源碼包編譯安裝過nginx，11上需要yum安裝nginx，命令yum install -y nginx

 直接通過 yum install nginx 肯定是不行的,因爲yum沒有nginx，所以首先把 nginx 的源加入 yum 中。

 將nginx放到yum repro庫中，如下：

 rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

3。使用yum安裝ngnix ，yum install -y nginx

4。查看nginx信息 yum info nginx

5。啓動nginx service nginx start

6。查看nginx版本 nginx -v

 

2.編輯master機器ip10的keepalived配置文件

 ls /etc/keepalived/keepalived.conf

vi /etc/keepalived/keepalived.conf

> !$         //清空配置文件內容

vim /etc/keepalived/keepalived.conf

配置網址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf

增加如下配置內容，按需求更改部分配置： global_defs {                   //全局定義參數    notification_email {      [email protected]          //定義接收告警的人    }    notification_email_from [email protected]  //定義發郵件地址（實際上沒用）    smtp_server 127.0.0.1  //定義發郵件地址，若爲127.0.0.1則使用本機自帶郵件服務器發送    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_script chk_nginx {      //chk_nginx爲自定義名字，後面還會用到它     script "/usr/local/sbin/check_ng.sh"  //自定義腳本，該腳本爲監控nginx服務的腳本     interval 3   //每隔3S執行一次該腳本 } vrrp_instance VI_1 {     state MASTER         //角色爲master     interface ens33        //針對哪個網卡監聽VIP     virtual_router_id 51     priority 100            //權重爲100，master要比backup大     advert_int 1        authentication {                                 auth_type PASS         auth_pass aminglinux>com       //定義密碼，這個密碼自定義     }     virtual_ipaddress {         192.168.3.100    //定義VIP，主從兩臺都要設置的共有IP     }     track_script {         chk_nginx     //定義監控腳本，這裏和上面vrr_script後面的字符串保持一致     } }

3.編輯master機器的監控腳本

 vim /usr/local/sbin/check_ng.sh    //腳本名字是自定義的，與keepalived配置文件要一致

腳本網址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh

編輯腳本增加如下內容： #!/bin/bash #時間變量，用於記錄日誌 d=`date --date today +%Y%m%d_%H:%M:%S` #計算nginx進程數量 n=`ps -C nginx --no-heading|wc -l` #如果進程爲0，則啓動nginx，並且再次檢測nginx進程數量， #如果還爲0，說明nginx無法啓動，此時需要關閉keepalived if [ $n -eq "0" ]; then         /etc/init.d/nginx start         n2=`ps -C nginx --no-heading|wc -l`         if [ $n2 -eq "0"  ]; then                 echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log                 systemctl stop keepalived         fi fi

 

3.1給腳本755權限，需要給它權限，否則無法被keepalived調用加載

chmod 755 /usr/local/sbin/check_ng.sh  

3.2 啓動master上的keepalived，如果nginx服務沒有啓動，它會自動拉起來，並監聽VIP

systemctl start keepalived

 ip addr    //master上已經自動配置了192.168.3.100這個IP

 ps aux |grep keep

 ps aux |grep nginx

less /var/log/messages    //查看日誌

 

 

 

4.兩臺機器都查看防火牆及SElinux是否開啓，開啓需要關閉

iptables -nvL    //查看防火牆

systemctl stop firewalld   //關閉防火牆

getenforce   //查看SElinux是否關閉

setenforce 0  //臨時關閉SELinux //開機關閉SELinux 編輯/etc/selinux/config文件，將SELINUX的值設置爲disabled

 

5.編輯backup的Keepalived配置文件

ls /etc/keepalived/keepalived.conf

vi /etc/keepalived/keepalived.conf

> !$         //清空配置文件內容

vim /etc/keepalived/keepalived.conf

添加配置內容網址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf

 

編輯增加如下配置內容： global_defs {    notification_email {      [email protected]    }    notification_email_from [email protected]    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_script chk_nginx {     script "/usr/local/sbin/check_ng.sh"  //檢測腳本     interval 3 } vrrp_instance VI_1 {     state BACKUP      //這個需要改，說明是從的狀態     interface ens33     virtual_router_id 51     priority 90      //這個權重比master少     advert_int 1     authentication {         auth_type PASS         auth_pass aminglinux>com     }     virtual_ipaddress {         192.168.3.100   //VIP這個跟master一樣     }     track_script {         chk_nginx     } }

6.編輯backup機器的監控腳本

vim /usr/local/sbin/check_ng.sh

內容網址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh

編輯增加如下配置內容： #時間變量，用於記錄日誌 d=`date --date today +%Y%m%d_%H:%M:%S` #計算nginx進程數量 n=`ps -C nginx --no-heading|wc -l` #如果進程爲0，則啓動nginx，並且再次檢測nginx進程數量， #如果還爲0，說明nginx無法啓動，此時需要關閉keepalived if [ $n -eq "0" ]; then         systemctl start nginx         n2=`ps -C nginx --no-heading|wc -l`         if [ $n2 -eq "0"  ]; then                 echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log                 systemctl stop keepalived         fi fi

6.1 給腳本755權限，需要給它權限，否則無法被keepalived調用加載

chmod 755 /usr/local/sbin/check_ng.sh  

6.2 啓動backup上的keepalived，如果nginx服務沒有啓動，它會自動拉起來，並監聽VIP

systemctl start keepalived

ip addr

ps aux |grep keep

 ps aux |grep nginx

 

 

 

7.測試高可用

 確定好兩臺機器上nginx差異,通過curl -I 來查看nginx版本

7.1測試master機器ip192.168.3.10

curl -I  192.168.3.10

 

 

7.2 測試backup機器ip192.168.3.11

curl -I  192.168.3.11

 

7.3測試1：關閉master上的nginx服務

ps aux |grep nginx

systemctl stop nginx //關閉服務

 ps aux |grep nginx  //服務自動起來

 

7.4 測試2：在master上增加iptabls規則限制vrrp發包

iptables -I OUTPUT -p vrrp -j DROP    //把主上VRRP協議出去的包封掉

iptables -nvL //查看防火牆

 

在backup上查看

ip addr

tail /var/log/messages  //查看日誌

 

瀏覽器地址查看：

192.168.3.100

 

7.5 測試3：關閉master上的keepalived服務

systemctl stop keepalived

ip add

ps aux |grep keep

 

在backup上查看

ip addr  //在backup上VIP馬上就起來了

tail /var/log/messages

瀏覽器地址示例圖也改變：

192.168.3.100

 

7.6 測試4：啓動master上的keepalived服務

 systemctl start keepalived

ip add

 ps aux |grep keep

 

在backup上查看

ip addr  //在backup上VIP馬上斷掉了

 tail /var/log/messages  //查看日誌顯示

瀏覽器地址示例圖也改變：

192.168.3.100