基於Centos 7 部署Varnish緩存代理服務器

博文結構
Varnish的概述與工作原理等等
安裝Varnish緩存代理服務器

一.Varnish概述

1.Varnish 簡介

Varnish是一款高性能且開源的反向代理服務器和HTTP加速器，其採用全新的軟件體系機構，和現在的硬件體系緊密配合。與傳統的squid相比，Varnish具有高性能、速度快、管理更加方便等優點，目前很多大型的網站都開始嘗試使用Varnish來代替squid，這便是Varnish迅速發展的最根本的原因。

Varnish的主要特徵：

（1）緩存代理位置：可以使用內存也可以使用磁盤；
（2）日誌存儲：日誌存儲在內存中；
（3）支持虛擬內存的使用；
（4）有精確的時間管理機制，即緩存的時間屬性控制；
（5）狀態引擎架構：在不同的引擎上完成對不同的緩存和代理數據進行處理；
（6）緩存管理：以二叉堆管理緩存數據，做到數據的及時清理；

2.Varnish 與 Squid 的對比

相同點

都是開源軟件；
都是一個反向代理服務器； 

Varnish 的優勢

（1）穩定性：Varnish和Squid在完成相同負載的工作時，Squid服務器發生故障的機率要高於Varnish，因爲使用Squid需要經常重啓；
（2）訪問速度更快：Varnish所有緩存的數據都是直接從內存中讀取，而Squid是從硬盤中讀取；
（3）支持更多的併發連接：因爲Varnish的TCP連接和釋放的速度比Squid快很多

Varnish 的劣勢

（1）Varnish進程一旦重啓，緩存數據都會從內存中完全釋放，此時所有請求都會發送到後端服務器，在高併發情況下，會給後端服務器造成很大壓力；
（2）在Varnish使用中如果使用單個URL的請求通過負載均衡時，則每次請求都會落在不同的Varnish服務器中，造成請求都會到後端服務器；而且同樣的秦桂在多臺服務器上緩存，也會造成Varnish的緩存資源的浪費，造成性能下降；

Varnish 劣勢的解決方案

針對劣勢一：在訪問量很大的情況下推薦使用 varnish 的內存緩存方式啓動，而且後面需要 跟多臺 squid/nginx 服務器。主要爲了防止前面的 varnish 服 務、服務器被重啓的情況下， 大量請求穿透 varnish，這樣 squid/nginx 可以就擔當第二層 CACHE，而且也彌補了 varnish 緩 存在內存中重啓都會釋放的問題；
針對劣勢二：可以在負載均衡上做 url 哈希，讓單個 url 請求固定請求到一臺 varnish 服務器 上; 

3.Varnish的工作原理

當Varnish服務器收到客戶端的請求時，首選檢查緩存中是否有數據，如果有，則直接響應客戶端；如果沒有則向後端服務器請求相應的資源，緩存到Varnish服務器本地，再響應客戶端；

根據規則和請求頁面的類型選擇數據是否需要進行緩存，可以根據請求頭中Cache-Contorl判斷是否緩存，以及cookis是否有標記，這些功能都可以通過編寫配置文件的方式來實現。

4.Varnish簡單架構

Varnish分爲management進程和child進程

management進程：對child進程進行管理，同事對VCL配置進行編譯，並應用到不同的狀態引擎中；
child進程：生成線程池，負責對用戶請求進行處理，並通過hash查找返回用戶結果；

child進程生成的常見線程有

accept線程：接收新的連接請求並響應；
worker線程：會話，處理請求資源；
expiry線程：清除緩存中過期的內容；

5.varnish 主要配置部分

後端配置：給Varnish添加反向代理服務器節點，最少配置一個；
ACL配置：給Varnish添加訪問控制列表，可以指定這些列表訪問或禁止訪問；
probes配置：給Varnish添加探測後端服務器是否正常的規則，方便切換或禁止對應後端服務器；
directors配置：給Varnish添加負載均衡模式管理多個後端服務器；
核心子程序配置：給Varnish添加後端服務器切換，請求緩存、訪問控制、錯誤處理等規則；

6.VCL 中內置預設變量：變量(也叫 object)：

如圖

（1）req：客戶端請求Varnish服務器時可用的變量；
（2）bereq：Varnish服務器請求後端服務器可用的變量；
（3）beresp：後端服務器響應Varnish服務器請求，並返回結果時，使用的變量；
（4）resp：Varnish服務器響應客戶端請求是使用的變量；
（5）obj：高速緩存對象，緩存後端響應請求內容；
（6）now：作用就是返回當前的時間戳；

客戶端

Clienet.ip：返回客戶端的IP地址 
Client.port：獲取客戶端請求的端口號（在vatnish4.0以後需要調取std模塊才能使用）語法爲 import std；  std.port(client.ip)
Client.identiy 獲取客戶端標識碼，軟件在安裝過程中會生成一個序列號，用來標識身份

服務器

Server.hostname：服務器主機名
Server.identiy：獲取服務器標識碼
Server.ip：獲取服務器IP地址
Server.prot：獲取服務器IP端口號，需要調用std模塊

客戶端請求req （客戶端請求發送的對象）

Req：整個請求的數據結構
req.bachend_hint：指定請求後端節點 如gif 給圖片服務器 
Req.can_gzip：客戶端是否接受gzip傳輸編碼（通常瀏覽器支持所有壓縮格式）
req.hash_always_miss：是否從緩存中讀取數據
req.hash_ignore_busy： 忽略緩存中忙碌的數據 死鎖（如兩臺varnish服務器在處理過程中共同爭搶一個資源造成堵塞，如果不手動停止則會僵持支持僵持下去）
req.http：對應請求http的header
req.method ：請求類型或者請求的方式（如gt，post）
req.proto：客戶端請求使用的http協議的版本
req.restarts：重新啓動次數，默認最大值是4（通常用於判斷是否訪問過服務器）
req.url：請求的url
req.xid：唯一id，varnish服務器訪問時在頭部增加了X-varnish，後面的數字是varnish的id，第一個數據是請求的標識id，第二個數據是緩存的標識id 

varnish請求後端服務器（bereq）

bereq：整個後端請求的數據結構
bereq.backend：所請求後端節點的配置
bereq.between_bytes_timeout：從後端每接收一個字節之間的等待時間或者超時時間
bereq.http：對應發送到後端的http的頭部信息
bereq.method： 發送到後端的請求類型或者請求方式
bereq.proto：發送到後端的請求的http協議版本
bereq.retires：相同請求重試計數
bereq.uncacheable：請求數據沒有被緩存，或者請求不緩存
bereq.url：發送到後端請求的url
bereq.xid：請求唯一id

後端服務器向varnish返回數據beresq

Beresp：後端服務器響應數據
Beresp.backend.ip：後端響應（處理請求數據）服務器的IP地址
Beresp.backend.name：後端響應服務器的節點名
Beresp.do_gunzip：默認爲false，緩存前解壓改對象
Beresp.grace：設置緩存過期的額外寬限時間
Beresp.http：響應時http的頭部
Beresp.keep：對象緩存後帶保持時間
Beresp.proto：響應的http版本
Beresp.reason ：後端服務器返回的http狀態信息
Beresp.status：後端服務器返回的在狀態碼
Beresp.storage_hint：指定保存的的特定存儲器（內存）
Beresp.ttl：改對象緩存的剩餘時間，指定統一緩存剩餘時間
Beresp,uncacheable：對數據不進行緩存

存儲

Storage.<name>.free_space：存儲可用空間（字節數）
Storage.<name>.used_space：存儲剩餘時間（字節數）
Storage.<name>.happy：存儲節點狀態
deliver將數據發送給客戶端，返回的數據
fetch從後端獲取數據，並將數據緩存到本地

7.特定功能語句

Ban（expression）：清除指定對象緩存；
Call(subroutine)：調用子程序；
Hash_data（input）：根據input的子程序的值生成hash鍵；
New（）：創建新的vcl對象，只能在vcl_init 子進程中；
Return（）：結束當前子程序，並指定繼續下一步動作；
Rollback()：恢復 HTTP 頭到原來狀態，已經棄用，使用 std.rollback() 代替；
Synthetic （STRING）：合成器，定義返回給客戶端頁面和狀態碼；
Regsub（str，regex，sub）使用正則表達式替換第一次出現的字符串；
Regsuball（str，regex,sub）替換所有出現的字符串；

8.varnish請求處理的步驟

如圖

varnish請求處理的步驟

Receive 狀態（vcl_recv）。也就是請求處理的入口狀態，根據 VCL 規則判斷該請求應該 pass（vcl_pass）或是 pipe（vcl_pipe），還是進入 lookup（本地查詢）。
Lookup 狀態。進入該狀態後，會在 hash 表中查找數據，若找到，則進入 hit（vcl_hit）狀態，否則進入 miss（vcl_miss）狀態。
Pass（vcl_pass）狀態。在此狀態下，會直接進入後端請求，即進入 fetch（vcl_fetch）狀態
Fetch（vcl_fetch）狀態。在 fetch 狀態下，對請求進行後端獲取，發送請求，獲得數據，並根據設置進行本地存儲。
Deliver（vcl_deliver）狀態。將獲取到的數據發給客戶端，然後完成本次請求。
Pipe狀態。建立客戶端和服務器之間的直接連接，從後端服務器調取數據

 vcl_recv 子程序： 開始處理請求，通過 return (動作); 
 vcl_pipe 子程序： pipe 模式處理，該模式主要用於直接取後端響應內容返回客戶端，可定義響應內容返回客戶端。
 vcl_pass 子程序： pass 模式處理，該模式類似 hash 緩存模式，僅不做緩存處理.
 vcl_hit 子程序： hash 緩存模式時，存在 hash 緩存時調用，用於緩存處理，可放棄或修改緩存.
 vcl_miss 子程序： hash 緩存模式時，不存在 hash 緩存時調用，用於判斷性的選擇進入後端取響應內容，可以 修改爲 pass 模式。 
 vcl_hash 子程序： hash緩存模式，生成hash值作爲緩存查找鍵名提取緩存內容，主要用於緩存hash鍵值處理， 可使用 hash_data(string) 指定鍵值組成結構，可在同一個頁面通過 IP 或 cookie 生成不同的 緩存鍵值。 
 vcl_purge 子程序： 清理模式，當查找到對應的緩存時清除並調用，用於請求方法清除緩存，並報告
 vcl_deliver 子程序： 客戶端交付子程序，在 vcl_backend_response 子程序後調用（非 pipe 模式），或 vcl_hit 子程 序後調用，可用於追加響應頭信息，cookie 等內容。 
 vcl_backend_fetch 子程序： 發送後端請求之前調用，可用於改變請求地址或其它信息，或放棄請求。 
 vcl_backend_response 子程序： 後端響應後調用，可用於修改緩存時間及緩存相關信息。 
 vcl_backend_error 子程序： 後端處理失敗調用，異常頁面展示效果處理，可自定義錯誤響應內容，或修改 beresp.status 與 beresp.http.Location 重定向等。 
 vcl_synth 子程序： 自定義響應內容。可以通過 synthetic（）和返回值 synth 調用，這裏可以自定義異常顯示 內容，也可以修改 resp.status 與 resp.http.Location 重定向。 
 vcl_init 子程序： 加載 vcl 時最先調用，用於初始化 VMODs，該子程序不參與請求處理，僅在 vcl 加載時調用 一次。 
 vcl_fini 子程序： 卸載當前 vcl 配置時調用，用於清理 VMODs，該子程序不參與請求處理，僅在 vcl 正常丟棄 後調用。 

二.安裝Varnish

下載varnish軟件包

除了一臺varnish服務器，可以再開倆臺web服務器，提供web頁面就可以。

[root@localhost ~]# yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-devel  pkgconfig python-docutils python-sphinx
[root@localhost ~]# tar zxf varnish-4.0.3.tar.gz 
[root@localhost ~]# cd varnish-4.0.3/
[root@localhost varnish-4.0.3]# ./configure && make && make install
[root@localhost varnish-4.0.3]# cp etc/example.vcl /usr/local/var/varnish/
//複製Varnish主配置文件
[root@localhost /]# vim /usr/local/var/varnish/example.vcl 
//編輯Varnish主配  看原來的修改
vcl 4.0;
import directors;
import std;
backend default {
    .host = "127.0.0.1";
    .port = "80";
}
probe backend_healthcheck {
        .url="/";
        .interval = 5s;
        .timeout = 1s;
        .window = 5;
        .threshold = 3;
}
backend web1 {
        .host = "192.168.148.132";
        .port = "80";
        .probe = backend_healthcheck;
}
backend web2 {
        .host = "192.168.148.133";
        .port = "80";
        .probe = backend_healthcheck;
}
acl purgers {
        "127.0.0.1";
        "localhost";
        "192.168.148.0/24";
        !"192.168.148.133";
}
sub vcl_init  {
        new  web_cluster=directors.round_robin();
        web_cluster.add_backend(web1);
        web_cluster.add_backend(web2);
}
//把原來的全部刪除添加如下
sub vcl_recv {
        set req.backend_hint = web_cluster.backend();
        if (req.method == "PURGE") {
                if (!client.ip ~ purgers) {
                        return (synth(405, "Not Allowed."));
        }
        return (purge);
}
if (req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "PATCH" &&
        req.method != "DELETE") {
                return (pipe);
        }
if (req.method != "GET" && req.method != "HEAD") {
        return (pass);
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        return (pass);
}
if (req.http.Accept-Encoding) {
        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
        unset req.http.Accept-Encoding;
} elseif (req.http.Accept-Encoding ~ "gzip") {
                set req.http.Accept-Encoding = "gzip";
        } elseif (req.http.Accept-Encoding ~ "deflate") {
                set req.http.Accept-Encoding = "deflate";
        } else {
        unset req.http.Accept-Encoding;
        }
     }
if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset req.http.cookie;
        return (hash);
}
if (req.restarts == 0) {
        if (req.http.X-Forwarded-For) {
                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
        } else {
       set req.http.X-Forwarded-For = client.ip;
        }
}
return (hash);
}
sub vcl_hash {
        hash_data(req.url);
        if (req.http.host) {
        hash_data(req.http.host);
        } else {
                hash_data(server.ip);
        }
        return (lookup);
}
sub vcl_hit {
        if (req.method == "PURGE") {
                return (synth(200, "Purged."));
        }
        return (deliver);
}
sub vcl_miss {
    if (req.method == "PURGE") {
                return (synth(404, "Purged."));
        }
        return (fetch);
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.CXK = "HIT-from-varnish";
                set resp.http.X-Cache-Hits = obj.hits;
        } else {
        set resp.http.X-Cache = "MISS";
        }
        unset resp.http.X-Powered-By;
        unset resp.http.Server;
        unset resp.http.X-Drupal-Cache;
        unset resp.http.Via;
        unset resp.http.Link;
        unset resp.http.X-Varnish;
        set resp.http.xx_restarts_count = req.restarts;
        set resp.http.xx_Age = resp.http.Age;
        set resp.http.hit_count = obj.hits;
                unset resp.http.Age;
                        return (deliver);
                        }

sub vcl_purge {
        return (synth(200,"success"));
}
sub vcl_backend_error {
        if (beresp.status == 500 ||
                beresp.status == 501 ||
                beresp.status == 502 ||
                beresp.status == 503 ||
                beresp.status == 504) {
                return (retry);
        }
}
sub vcl_fini {
        return (ok);
}
[root@localhost /]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
//啓動服務

• 第一臺web提供頁面

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# echo aaa > /var/www/html/index.html
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl start httpd

• 第二臺

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# echo bbb > /var/www/html/index.html
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl start httpd

• 如果重啓Varnishd如下：

[root@localhost /]# netstat -anpt | grep 80
[root@localhost /]# killall -9 varnishd
[root@localhost /]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80

• 客戶端訪問如下：

刷新一下

[root@localhost /]# curl -X "PURGE" 192.168.148.130
//清除緩存

• Varnish配置文件解釋

vcl 4.0;
import directors;
import std;
# Default backend definition. Set this to point to your content server.
probe backend_healthcheck {
        .url="/"; #訪問後端服務器根路徑
        .interval = 5s;   #請求時間間隔
        .timeout = 1s;   #請求超時時間
        .window = 5;    #指定輪詢次數5次
        .threshold = 3;   #如果出現3次失敗則表示後端服務器異常
}
backend web1 {    #定義後端服務器
        .host = "192.168.1.7";  #要轉向主機（即後端主機）的 IP 或域名
        .port = "80";  #指定後端服務器的端口號
        .probe = backend_healthcheck;  #健康檢查調用backend_healthcheck定義的內容
}
backend web2 {
        .host = "192.168.1.8";
        .port = "80";
        .probe = backend_healthcheck;
}
acl purgers { #定義訪問控制列表
        "127.0.0.1";
        "localhost";
        "192.168.1.0/24";
        !"192.168.1.8";
}
sub vcl_init  {     #調用 vcl_init 初始化子程序創建後端主機組，即 directors
        new  web_cluster=directors.round_robin(); #使用 new 關鍵字創建 drector 對象,使用 round_robin(輪詢) 算法
        web_cluster.add_backend(web1);   #添加後端服務器節點
        web_cluster.add_backend(web2);
}
sub vcl_recv {
        set req.backend_hint = web_cluster.backend(); #指定請求的後端節點web_cluster定義的後端節點
        if (req.method == "PURGE") {   #判斷客戶端的請求頭部是否是PURGE
                if (!client.ip ~ purgers) {   #如果是，再判斷客戶端的IP地址是不是在ACL訪問控制列表中.
                        return (synth(405, "Not Allowed."));  #如果不是，返回給客戶端405狀態碼並且返回定義的頁面.
        }
        return (purge);   #如果是ACL定義的，則交給purge處理.
}
if (req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "PATCH" &&
        req.method != "DELETE") {      #判斷客戶端的請求類型
                return (pipe);
        }
if (req.method != "GET" && req.method != "HEAD") {
        return (pass);      #如果不是GET及HEAD則交給pass.
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        return (pass);   #當客戶端訪問的是.php等結尾的交給pass處理.
}
if (req.http.Accept-Encoding) {
        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
        unset req.http.Accept-Encoding;   #取消客戶端接收的壓縮類型
        } elseif (req.http.Accept-Encoding ~ "gzip") {
                set req.http.Accept-Encoding = "gzip";  #如果有gzip類型，標記gzip類型.
        } elseif (req.http.Accept-Encoding ~ "deflate") {
                set req.http.Accept-Encoding = "deflate";
        } else {
        unset req.http.Accept-Encoding;  #其他未定義的頁面也取消客戶但接收的壓縮類型.
        }
     }
if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset req.http.cookie;  #取消客戶端的cookie值.
        return (hash);    #將請求轉發給hash子程序，也就是查看本地緩存.
}
if (req.restarts == 0) {  #判斷客戶端是不是第一次請求
        if (req.http.X-Forwarded-For) {     #如果是第一次請求，設置獲取客戶端的IP地址.
                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
        } else {
       set req.http.X-Forwarded-For = client.ip;
        }
}
return (hash);
}
sub vcl_hash {
        hash_data(req.url);   #查看客戶端請求的頁面，並且進行hash
        if (req.http.host) {
                hash_data(req.http.host);  #設置客戶端的主機
        } else {
                hash_data(server.ip);    #設置服務器的IP
        }
        return (lookup);
}
sub vcl_hit {
        if (req.method == "PURGE") {   #如果是HIT並且當客戶端請求的類型是PURGE返回的200的狀態碼，並返回相應頁面.
                return (synth(200, "Purged."));
        }
        return (deliver);
}
sub vcl_miss {
    if (req.method == "PURGE") {
                return (synth(404, "Purged."));   #如果是miss返回404
        }
        return (fetch);
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.CXK = "HIT-from-varnish"; #設置http頭部X-Cache =hit
                set resp.http.X-Cache-Hits = obj.hits;  #返回命令的次數
        } else {
        set resp.http.X-Cache = "MISS";
        }
        unset resp.http.X-Powered-By;  #取消顯示web版本
        unset resp.http.Server;    #取消顯示varnish服務
        unset resp.http.X-Drupal-Cache;   #取消顯示緩存的框架
        unset resp.http.Via;    #取消顯示文件內容來源
        unset resp.http.Link;  #取消顯示HTML的超鏈接地址
        unset resp.http.X-Varnish;  #取消顯示varnish的id
        set resp.http.xx_restarts_count = req.restarts;   #設置客戶端請求的次數
        set resp.http.xx_Age = resp.http.Age;   #顯示緩存文件的時長
        #set resp.http.hit_count = obj.hits;   #顯示緩存命中的次數
        #unset resp.http.Age;
        return (deliver);
}
sub vcl_pass {
        return (fetch);   #將後端服務器返回的數據緩存到本地
}
sub vcl_backend_response {
        set beresp.grace = 5m;   #緩存額外寬限時間
        if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
                set beresp.uncacheable = true;   #當後端服務器相應狀態碼是449等，不緩存
        }
        if (bereq.url ~ "\.(php|jsp)(\?|$)") {
                set beresp.uncacheable = true;  #當是PHP的頁面不緩存
        } else {
                if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
                set beresp.ttl = 15m;  #當是上面結尾的，緩存15分鐘
                unset beresp.http.Set-Cookie;
                } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
                        set beresp.ttl = 30m; #緩存30分鐘
                        unset beresp.http.Set-Cookie;
                } else {
                        set beresp.ttl = 10m;  #生存時間10分鐘
                        unset beresp.http.Set-Cookie;
                }
        }
        return (deliver);
}
sub vcl_purge {
        return (synth(200,"success"));
}
sub vcl_backend_error {
        if (beresp.status == 500 ||
                beresp.status == 501 ||
                beresp.status == 502 ||
                beresp.status == 503 ||
                beresp.status == 504) {
                return (retry);  #如果狀態碼是上述其中之一，則重新請求
        }
}
sub vcl_fini {
        return (ok);
}