搭建Keepalived + Nginx + Tomcat的高可用負載均衡架構 原 薦

1 概述

初期的互聯網企業由於業務量較小，所以一般單機部署，實現單點訪問即可滿足業務的需求，這也是最簡單的部署方式，但是隨着業務的不斷擴大，系統的訪問量逐漸的上升，單機部署的模式已無法承載現有的業務量，需要進行服務集羣化部署，本文主要介紹服務端Tomcat多實例部署，以及如何保證web服務的高可用方案。

• Nginx 是一個高性能的 HTTP反向代理服務器
• Keepalived 是一個基於VRRP協議來實現的LVS服務高可用方案，可以利用其來避免服務的單點故障
• Tomcat 是一個免費的開放源代碼的Web 應用服務器，屬於輕量級應用服務器。

2 Nginx的高可用負載均衡架構

如下圖：爲典型的Tomcat服務多實例部署的架構圖

（1）用戶通過域名請求到DNS，由DNS解析域名後返回對應的IP地址，該IP及爲Keepalived映射服務器的虛擬IP

（2）通過該虛擬IP訪問到對應的負載均衡器（Nginx），這裏Nginx部署兩個，然後通過Keepalived來保證NG的高可用，正常情況下由Keepalived-M將虛擬IP映射轉發至Nginx-M，如果Nginx-M出現故障，此時Keepalived會切換至Keepalived-S開始工作，從而保證了NG的單點故障問題。

（3）通過Nginx負載均衡器，將請求路由到對應的Tomcat服務。

3 搭建Keepalived + Nginx + Tomcat的高可用負載均衡架構

3.1 需要準備的軟件

（1）apache-tomcat-8.5.16.tar.gz

（2）nginx-1.12.2.tar.gz

（3）keepalived-1.3.9.tar.gz

3.2 服務器準備

兩臺服務器如：192.168.10.11，192.168.10.12

3.3 安裝需要的依賴包

$ yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel open openssl-devel

3.4 安裝

3.4.1 安裝Tomcat

（1）分別在兩臺服務器中安裝Tomcat，解壓apache-tomcat-8.5.16.tar.gz及可完成安裝。

3.4.2 安裝Nginx

（1）解壓安裝包：tar -zxvf nginx-1.12.2.tar.gz

（2）進入到nginx-1.12.2目錄：cd nginx-1.12.2

（3）編譯：

         a) ./configure --with-http_stub_status_module --with-http_ssl_module  --prefix=/usr/local/nginx

         b) sudo make && sudo make install

3.4.3 安裝Keepalived

（1）解壓安裝包：tar -zxvf keepalived-1.3.9.tar.gz

（2）進入到keepalived-1.3.9目錄：cd keepalived-1.3.9

（3）執行編譯：

        a）./configure --prefix=/usr/local/keepalived --sysconf=/etc

        b）sudo make && sudo make install

3.5 配置

3.5.1 分別配置兩臺服務器的Nginx

（1）分別修改兩臺服務器nginx配置文件，vi /usr/local/nginx/conf/nginx.conf

（2）內容如下：

#nginx進程數
worker_processes  1;

#單個進程最大連接數
events {
    worker_connections  1024;
}

#http服務器配置
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
	#長連接超時時間，單位是秒
    keepalive_timeout  65;
	#upstream負載均衡配置，配置路由到tomcat的服務地址以及權重
    upstream localhost{
       server 192.168.10.11:8080 weight=2;
       server 192.168.10.12:8080 weight=2;
    }
	
	#虛擬主機的配置
    server {
	    #監聽端口
        listen       80;
		 #域名可以有多個，用空格隔開
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
			#nginx跟後端服務器連接超時時間(代理連接超時)
            proxy_connect_timeout 3;
			#後端服務器數據回傳時間(代理髮送超時)
            proxy_send_timeout 30;
			#連接成功後，後端服務器響應時間(代理接收超時)
            proxy_read_timeout 30;
            proxy_pass http://localhost;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

3.5.2 主Keepalived配置

（1）修改11服務器的keepalived配置文件，vi /etc/keepalived/keepalived.conf

（2）內容如下：

! Configuration File for keepalived
#全局配置
global_defs {
   #keepalived切換的時候，發消息到指定的email，可配置多個email
   notification_email {
     [email protected]
	 [email protected]
   }
   #通知郵件從哪個地址發出
   notification_email_from [email protected]
   #通知郵件的smtp地址
   smtp_server smtp.exmail.qq.com
   #連接smtp服務器的超時時間，單位秒
   smtp_connect_timeout 30
   #Keepalived的機器標識，一個網絡內保持唯一
   router_id nginx-master
}

#執行腳本配置
vrrp_script chk_nginx {
	#腳本所在路徑
    script "/home/project/keepalived/check_nginx.sh"
	#腳本執行間隔時間，秒
    interval 2
	#優先級
    weight 2
}
#keepalived實例配置
vrrp_instance VI_1 {
	#指定實例的初始狀態，MASTER或BACKUP兩種狀態，並且需要大寫
    state MASTER
	#實例綁定的網卡
    interface ens33
	#虛擬路由標識，是一個數字，整個VRRP內唯一，如果keepalived配置了主備，需要相同
    virtual_router_id 51
	#優先級，數值愈大，優先級越高
    priority 100
	#MASTER與BACKUP之間同步檢查的時間間隔，單位爲秒
    advert_int 1
	#通信驗證
    authentication {
        auth_type PASS
        auth_pass feinik
    }
	#追蹤外圍腳本
    track_script {
	    #這裏配置vrrp_script的名稱
        chk_nginx
    }
	#虛擬ip配置，可配置多個
    virtual_ipaddress {
        192.168.10.200
    }
}

3.5.3 備Keepalived配置

（1）修改12服務器的keepalived配置文件，vi /etc/keepalived/keepalived.conf

（2）內容如下：

! Configuration File for keepalived
#全局配置
global_defs {
   #keepalived切換的時候，發消息到指定的email，可配置多個email
   notification_email {
     [email protected]
	 [email protected]
   }
   #通知郵件從哪個地址發出
   notification_email_from [email protected]
   #通知郵件的smtp地址
   smtp_server smtp.exmail.qq.com
   #連接smtp服務器的超時時間，單位秒
   smtp_connect_timeout 30
   #Keepalived的機器標識，一個網絡內保持唯一
   router_id nginx-master
}

#執行腳本配置
vrrp_script chk_nginx {
	#腳本所在路徑
    script "/home/project/keepalived/check_nginx.sh"
	#腳本執行間隔時間，秒
    interval 2
	#優先級
    weight 2
}
#keepalived實例配置
vrrp_instance VI_1 {
	#指定實例的初始狀態，MASTER或BACKUP兩種狀態，並且需要大寫
    state BACKUP
	#實例綁定的網卡
    interface ens33
	#虛擬路由標識，是一個數字，整個VRRP內唯一，如果keepalived配置了主備，需要相同
    virtual_router_id 51
	#優先級，數值愈大，優先級越高
    priority 99
	#MASTER與BACKUP之間同步檢查的時間間隔，單位爲秒
    advert_int 1
	#通信驗證
    authentication {
        auth_type PASS
        auth_pass feinik
    }
	#追蹤外圍腳本
    track_script {
	    #這裏配置vrrp_script的名稱
        chk_nginx
    }
	#虛擬ip配置，可配置多個
    virtual_ipaddress {
        192.168.10.200
    }
}

3.5.4 Nginx狀態檢查腳本創建

（1）新建Nginx的狀態檢查腳本：check_nginx.sh

（2）內容如下：

#!/bin/sh
NGINX=/usr/common/nginx/sbin/nginx
PORT=80
nmap localhost -p $PORT | grep "$PORT/tcp open"
#echo $?
if [ $? -ne 0 ];then
    $NGINX -s stop
    #這裏再次嘗試啓動NG
    $NGINX
    sleep 5
    nmap localhost -p $PORT | grep "$PORT/tcp open"
    [ $? -ne 0 ] && cd /usr/common/keepalived/sbin && pkill keepalived
    echo "stoped"
fi

4 運行測試

（1）爲了更直觀的查看到keepalived切換的效果，將11服務器中的nginx的upstream服務只配置11的tomcat服務地址，12服務器中的upstream服務只配置12的tomcat服務地址，這樣只需要觀察將11服務器中的nginx關閉看使用虛擬ip是否可以訪問到12服務器的tomcat。

（2）分別啓動兩個服務器中的tomcat、nginx、keepalived，訪問虛擬ip：192.168.10.200，可以查看到訪問的是主keepalived服務器的tomcat

（3）關閉11服務器的nginx，nginx -s stop，再次訪問虛擬ip，如下：說明主keepalived通過配置的腳本檢測到了本服務的nginx服務掛掉了，所以立馬切換至了備的keepalived，這時12服務器的keepalived升爲了主，所以就訪問到了12服務器的tomcat。