一、簡介
Keepalived是一個免費開源的,用C編寫的類似於layer3, 4 & 7交換機制軟件,具備我們平時說的第3層、第4層和第7層交換機的功能。主要提供loadbalancing(負載均衡)和 high-availability(高可用)功能,負載均衡實現需要依賴Linux的虛擬服務內核模塊(ipvs),而高可用是通過VRRP協議實現多臺機器之間的故障轉移服務。
上圖是Keepalived的功能體系結構,大致分兩層:用戶空間(user space)和內核空間(kernel space)。
內核空間:主要包括IPVS(IP虛擬服務器,用於實現網絡服務的負載均衡)和NETLINK(提供高級路由及其他相關的網絡功能)兩個部份。
用戶空間:
WatchDog:負載監控checkers和VRRP進程的狀況
VRRP Stack:負載負載均衡器之間的失敗切換FailOver,如果只用一個負載均稀器,則VRRP不是必須的。
Checkers:負責真實服務器的健康檢查healthchecking,是keepalived最主要的功能。換言之,可以沒有VRRP Stack,但健康檢查healthchecking是一定要有的。
IPVS wrapper:用戶發送設定的規則到內核ipvs代碼
Netlink Reflector:用來設定vrrp的vip地址等。
Keepalived的所有功能是配置keepalived.conf文件來實現的。
二、安裝與配置
從官網下載keepalived的最新版本,本文以當前最新版本1.2.24爲例。
2.1 安裝
shell> cd /usr/local/src shell> wget shell> tar -zxvf keepalived-1.2.24.tar.gz shell> cd keepalived-1.2.24 shell> ./configure --prefix=/usr/local/keepalived shell> make && make install
2.2 配置
安裝完成後,進入安裝目錄的etc目錄下,將keepalived相應的配置文件拷貝到系統相應的目錄當中。keepalived啓動時會從/etc/keepalived目錄下查找keepalived.conf配置文件,如果沒有找到則使用默認的配置。/etc/keepalived目錄安裝時默認是沒有安裝的,需要手動創建。配置文件目錄結構如下所示:
shell> tree -l /usr/local/keepalived/etc -- keepalived | |-- keepalived.conf | `-- samples | |-- keepalived.conf.status_code | |-- keepalived.conf.track_interface | |-- keepalived.conf.vrrp | |-- 。。。 |-- rc.d | `-- init.d | `-- keepalived `-- sysconfig `-- keepalived
分別對應系統目錄(忽略samples目錄):
/etc/keepalived/keepalived.conf /etc/rc.d/init.d/keepalived /etc/sysconfig/keepalived
將配置文件拷貝到系統對應的目錄下:
shell> mkdir /etc/keepalived shell> cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf shell> cp /usr/local/keepalived/sbin/keepalived /etc/rc.d/init.d/keepalived shell> cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
設置keepalived服務開機啓動:
shell> chkconfig keepalived on shell> service keepalived start #啓動服務 shell> service keepalived stop #停止服務 shell> service keepalived restart #重啓服務
另外需要注意的一點是,keepalived啓動時不會檢查配置文件的語法是否正確,所以我們在編寫配置文件時要特別小心,別寫錯了,否則會出現一些意想不到的現象。
使用service keepalived start
命令啓動服務時,默認會將/etc/sysconfig/keepalived
文件中KEEPALIVED_OPTIONS
參數作爲keepalived
服務啓動時的參數,並從/etc/keepalived/
目錄下加載keepalived.conf配置文件,或用-f參數指定配置文件的位置。
# Options for keepalived. See `keepalived --help' output and keepalived(8) and # keepalived.conf(5) man pages for a list of all options. Here are the most # common ones : # # --vrrp -P Only run with VRRP subsystem. # --check -C Only run with Health-checker subsystem. # --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop. # --dont-release-ipvs -I Dont remove IPVS topology on daemon stop. # --dump-conf -d Dump the configuration data. # --log-detail -D Detailed log messages.日誌默認輸出在/var/log/message文件中 # --log-facility -S 0-7 Set local syslog facility (default=LOG_DAEMON) # KEEPALIVED_OPTIONS="-D"
運行keepalived --help
可以查看啓動時的可選參數,這些可選參數都可以配置在/etc/sysconfig/keepalived
文件中的KEEPALIVED_OPTIONS
選項中,作爲服務啓動時的參數。
keepalived正常運行後,會啓動3個進程,其中一個是父進程,負責監控其子進程。一個是vrrp子進程,另外一個是checkers子進程。
shell> ps -ef | grep keepalived root 831 1 0 11:22 ? 00:00:00 keepalived -D root 840 831 0 11:22 ? 00:00:00 keepalived -D root 841 831 0 11:22 ? 00:00:00 keepalived -D
到此keepalived就安裝完成了。
三、keepalived.conf配置文件說明
keepalived服務安裝完成之後,後面的主要工作就是在keepalived.conf文件中配置HA和負載均衡。一個功能比較完整的常用的keepalived配置文件,主要包含三塊:全局定義塊、VRRP實例定義塊和虛擬服務器定義塊。全局定義塊是必須的,如果keepalived只用來做ha,虛擬服務器是可選的。下面是一個功能比較完整的配置文件模板:
#全局定義塊 global_defs { # 郵件通知配置 notification_email { email1 email2 } notification_email_from email smtp_server host smtp_connect_timeout num lvs_id string router_id string ## 標識本節點的字條串,通常爲hostname } #VRRP 實例定義塊 vrrp_sync_group string { group { string string } } vrrp_instance string { state MASTER|BACKUP virtual_router_id num interface string mcast_src_ip @IP priority num advert_int num nopreempt smtp_alert lvs_sync_daemon_interface string authentication { auth_type PASS|AH auth_pass string } virtual_ipaddress { # Block limited to 20 IP addresses @IP @IP @IP } } #虛擬服務器定義塊 virtual_server (@IP PORT)|(fwmark num) { delay_loop num lb_algo rr|wrr|lc|wlc|sh|dh|lblc lb_kind NAT|DR|TUN persistence_timeout num protocol TCP|UDP real_server @IP PORT { weight num notify_down /path/script.sh TCP_CHECK { connect_port num connect_timeout num } } real_server @IP PORT { weight num MISC_CHECK { misc_path /path_to_script/script.sh(or misc_path “/path_to_script/script.sh <arg_list>”) } } real_server @IP PORT { weight num HTTP_GET|SSL_GET { url { # You can add multiple url block path alphanum digest alphanum } connect_port num connect_timeout num nb_get_retry num delay_before_retry num } } }
全局定義塊
1、email通知(notification_email、smtp_server、smtp_connect_timeout):用於服務有故障時發送郵件報警,可選項,不建議用。需要系統開啓sendmail服務,建議用第三獨立監控服務,如用nagios全面監控代替。
2、lvs_id:lvs負載均衡器標識,在一個網絡內,它的值應該是唯一的。
3、router_id:用戶標識本節點的名稱,通常爲hostname
4、花括號{}:用來分隔定義塊,必須成對出現。如果寫漏了,keepalived運行時不會得到預期的結果。由於定義塊存在嵌套關係,因此很容易遺漏結尾處的花括號,這點需要特別注意。
VRRP實例定義塊
vrrp_sync_group:同步vrrp級,用於確定失敗切換(FailOver)包含的路由實例個數。即在有2個負載均衡器的場景,一旦某個負載均衡器失效,需要自動切換到另外一個負載均衡器的實例是哪
group:至少要包含一個vrrp實例,vrrp實例名稱必須和vrrp_instance定義的一致
vrrp_instance:vrrp實例名
1> state:實例狀態,只有MASTER 和 BACKUP兩種狀態,並且需要全部大寫。搶佔模式下,其中MASTER爲工作狀態,BACKUP爲備用狀態。當MASTER所在的服務器失效時,BACKUP所在的服務會自動把它的狀態由BACKUP切換到MASTER狀態。當失效的MASTER所在的服務恢復時,BACKUP從MASTER恢復到BACKUP狀態。
2> interface:對外提供服務的網卡接口,即VIP綁定的網卡接口。如:eth0,eth1。當前主流的服務器都有2個或2個以上的接口(分別對應外網和內網),在選擇網卡接口時,一定要覈實清楚。
3> mcast_src_ip:本機IP地址
4> virtual_router_id:虛擬路由的ID號,每個節點設置必須一樣,可選擇IP最後一段使用,相同的 VRID 爲一個組,他將決定多播的 MAC 地址。
5> priority:節點優先級,取值範圍0~254,MASTER要比BACKUP高
6> advert_int:MASTER與BACKUP節點間同步檢查的時間間隔,單位爲秒
7> lvs_sync_daemon_inteface:負載均衡器之間的監控接口,類似於 HA HeartBeat 的心跳線。但它的機制優於 Heartbeat,因爲它沒有“裂腦”這個問題,它是以優先級這個機制來規避這個麻煩的。在 DR 模式中,lvs_sync_daemon_inteface與服務接口interface使用同一個網絡接口
8> authentication:驗證類型和驗證密碼。類型主要有 PASS、AH 兩種,通常使用PASS類型,據說AH使用時有問題。驗證密碼爲明文,同一vrrp 實例MASTER與BACKUP使用相同的密碼才能正常通信。
9> smtp_alert:有故障時是否激活郵件通知
10> nopreempt:禁止搶佔服務。默認情況,當MASTER服務掛掉之後,BACKUP自動升級爲MASTER並接替它的任務,當MASTER服務恢復後,升級爲MASTER的BACKUP服務又自動降爲BACKUP,把工作權交給原MASTER。當配置了nopreempt,MASTER從掛掉到恢復,不再將服務搶佔過來。
11> virtual_ipaddress:虛擬IP地址池,可以有多個IP,每個IP佔一行,不需要指定子網掩碼。注意:這個IP必須與我們的設定的vip保持一致。
虛擬服務器virtual_server定義塊
virtual_server:定義一個虛擬服務器,這個ip是virtual_ipaddress中定義的其中一個,後面一個空格,然後加上虛擬服務的端口號。
1> delay_loop:健康檢查時間間隔,單位:秒
2> lb_algo:負載均衡調度算法,互聯網應用常用方式爲wlc或rr
3> lb_kind:負載均衡轉發規則。包括DR、NAT、TUN 3種,一般使用路由(DR)轉發規則。
4> persistence_timeout:http服務會話保持時間,單位:秒
5> protocol:轉發協議,分爲TCP和UDP兩種real_server:真實服務器IP和端口,可以定義多個
1> weight:負載權重,值越大,轉發的優先級越高
2> notify_down:服務停止後執行的腳本
3> TCP_CHECK:服務有效性檢測
* connect_port:服務連接端口
* connect_timeout:服務連接超時時長,單位:秒
* nb_get_retry:服務連接失敗重試次數
* delay_before_retry:重試連接間隔,單位:秒