Nginx Rewrite相關功能

1. ngx_http_rewrite_module模塊指令

Nginx服務器利用ngx_http_rewrite_module 模塊解析和處理rewrite請求，此功能依靠 PCRE(perl compatibleregularex pression)，因此編譯之前要安裝PCRE庫，rewrite是nginx服務器的重要功能之一，用於實現URL的重寫，URL的重寫是非常有用的功能，比如它可以在我們改變網站結構之後，不需要客戶端修改原來的書籤，也無需其他網站修改我們的鏈接，就可以設置爲訪問，另外還可以在一定程度上提高網站的安全性。

1.1 if指令

用於條件匹配判斷，並根據條件判斷結果選擇不同的Nginx配置，可以配置在server或location塊中進行配置，Nginx的if語法僅能使用if做單次判斷，不支持使用if else或者if elif這樣的多重判斷，用法如下：

if （條件匹配） {
action
}

使用正則表達式對變量進行匹配，匹配成功時if指令認爲條件爲true，否則認爲false，變量與表達式之間使用以下符號鏈接：

=：             #比較變量和字符串是否相等，相等時if指令認爲該條件爲true，反之爲false。
!=:             #比較變量和字符串是否不相等，不相等時if指令認爲條件爲true，反之爲false。
~：             #表示在匹配過程中區分大小寫字符，（可以通過正則表達式匹配），滿足匹配條件爲真，不滿足爲假。
!~：            #爲區分大小寫字符且匹配結果不匹配，不滿足爲真，滿足爲假。
~*:             #表示在匹配過程中不區分大小寫字符，（可以通過正則表達式匹配），滿足匹配條件爲真，不滿足爲假。
!~*:            #爲不區分大小字符且匹配結果不匹配，滿足爲假，不滿足爲真。
-f 和 ! -f:     #判斷請求的文件是否存在和是否不存在
-d 和 ! -d:     #判斷請求的目錄是否存在和是否不存在。
-x 和 ! -x:     #判斷文件是否可執行和是否不可執行。
-e 和 ! -e:     #判斷請求的文件或目錄是否存在和是否不存在(包括文件,目錄，軟鏈接)。

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server {
  listen 80;
#  listen 443 ssl;
#  ssl_certificate /apps/nginx/certs/www.bokebi.tech.crt;
#  ssl_certificate_key /apps/nginx/certs/www.bokebi.tech.key;
  server_name www.bokebi.tech;
  location /pc {
    root html;
    index index.html;
    if ( $scheme = http ) { # 如果請求使用的是http協議，則輸
出scheme is http
      echo "scheme is $scheme";
    }                                                       
#    if ( $scheme = https ) { # 如果請求使用的是https協議，則
輸出scheme is https
#      echo "scheme is $scheme";
#    }
    if ( !-f $request_filename ) { # 如果當前請求的資源文件>的路徑不存在，則輸出file is not exist
      echo "file is not exist";
    }
  }
}

注： 如果$變量的值爲空字符串或是以0開頭的任意字符串，則if指令認爲該條件爲false，其他條件爲true。

瀏覽器訪問www.bokebi.tech/pc/index.html

1.2 set指令

指定key並給其定義一個變量，變量可以調用Nginx內置變量賦值給key，另外set定義格式爲set $key $value，及無論是key還是value都要加$ 符號。

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server {
  listen 80;
  server_name www.bokebi.tech;
  location /pc {
    root html；
    set $name bokebi;
    echo $name;
    set $port $server_port;
    echo $port;
  }
}

瀏覽器訪問www.bokebi.tech/pc

1.3 break指令

用於中斷當前相同作用域(location)中的其他Nginx配置，與該指令處於同一作用域的Nginx配置中，位於它前面的配置生效，位於後面的指令配置就不再生效了，Nginx服務器在根據配置處理請求的過程中遇到該指令的時候，回到上一層作用域繼續向下讀取配置，該指令可以在server塊和location塊以及if塊中使用，使用語法如下：

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server {
  listen 80;
  server_name www.bokebi.tech;
  location /pc {
	  root html;
	  set $name bokebi;
	  echo $name;
	  break; #這個示例中，只會echo $name 變量的值，因爲它在break的前面
	  set $port $server_port;
	  echo $port;
  }
}

瀏覽器訪問www.bokebi.tech/pc

1.4 return指令

從nginx版本0.8.2開始支持，return用於完成對請求的處理，並直接向客戶端返回響應狀態碼，比如其可以指定重定向URL(對於特殊重定向狀態碼，301/302等) 或者是指定提示文本內容(對於特殊狀態碼403/500等)，處於此指令後的所有配置都將不被執行，return可以在server、if和location塊進行配置，用法如下：

return code; #返回給客戶端指定的HTTP狀態碼
return code (text); #返回給客戶端的狀態碼及響應體內容，可以調用變量
return code URL； #返回給客戶端的URL地址

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server{
  listen 80;
  server_name www.bokebi.tech;
  location /{
    root /apps/nginx/html/pc;
    default_type text/html;
    index index.html index.htm;
    if( $scheme = http ){
    #return 666;
    #return 666 "not allow http";
    #return 301 http://www.baidu.com;
    return 500 "service error";                             
    echo "if ---> $scheme"; #return後面的將不再執行
    }   
    if ( $scheme = https ){
    echo "if ---> $scheme";
    }   
  }
}
--------------------------------
//測試實驗結果
curl --head http://www.bokebi.tech
HTTP/1.1 500 Internal Server Error
Server: nginx/1.16.1
Date: Sat, 11 Jan 2020 02:12:26 GMT
Content-Type: text/html
Content-Length: 13
Connection: keep-alive

1.5 rewrite_log指令

設置是否開啓記錄ngx_http_rewrite_module模塊日誌記錄到error_log日誌文件當中，可以配置在http、server、location或if當中，需要日誌級別爲notice 。

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server {
  listen 80;
  server_name www.bokebi.tech;
  location /pc {
  root html;
  index index.html index.htm;
  rewrite_log on;
  rewrite ^(.*)$ https://www.baidu.com$1;
  }
}
--------------------------------
//測試實驗結果
curl http://www.bokebi.tech/pc

<html>
<head><title>302 Found</title></head>
<body>
<center><h1>302 Found</h1></center>
<hr><center>nginx/1.16.1</center>
</body>
</html>

//查看錯誤日誌文件
2020/01/11 10:39:01 [notice] 1550#0: *36 rewritten redirect: "https://www.baidu.com/pc", client: 172.20.26.44, server: www.bokebi.tech, request: "GET /pc HTTP/1.1", host: "www.bokebi.tech"

2. rewrite指令

通過正則表達式的匹配來改變URI，可以同時存在一個或多個指令，按照順序依次對URI進行匹配，rewrite主要是針對用戶請求的URL或者是URI做具體處理，以下是URL和URI的具體介紹：
URI(universal resource identifier)：通用資源標識符，標識一個資源的路徑，可以不帶協議。
URL(uniform resource location):統一資源定位符，是用於在Internet中描述資源的字符串，是URI的子集，主要包括傳輸協議(scheme)、主機(IP、端口號或者域名)和資源具體地址(目錄和文件名)等三部分，一般格式爲
scheme://主機名[:端口號][/資源路徑],如：http://www.a.com:8080/path/file/index.html就是一個
URL路徑，URL必須帶訪問協議。
每個URL都是一個URI，但是URI不都是URL。

#例如
http://example.org:8080/path/to/resource.txt #URI/URL
ftp://example.org/resource.txt #URI/URL
/absolute/path/to/resource.txt #URI

鏈接: https://nginx.org/en/docs/http/ngx_http_rewrite_module.html#rewrite
rewrite可以配置在server、location、if，其具體使用方式爲：

rewrite regex replacement [flag];

rewrite將用戶請求的URI基於regex所描述的模式進行檢查，匹配到時將其替換爲表達式指定的新的URI。注意：如果在同一級配置塊中存在多個rewrite規則，那麼會自下而下逐個檢查；被某條件規則替換完成後，會重新一輪的替換檢查，隱含有循環機制,但不超過10次；如果超過，提示500響應碼，[flag]所表示的標誌位用於控制此循環機制，如果替換後的URL是以http://或https://開頭，則替換結果會直接以重向返回給客戶端, 即永久重定向301

2.1 rewrite flag使用介紹

利用nginx的rewrite的指令，可以實現url的重新跳轉，rewrtie有四種不同的flag，分別是redirect(臨時重定向)、permanent(永久重定向)、break和last。其中前兩種是跳轉型的flag，後兩種是代理型，跳轉型是指有客戶端瀏覽器重新對新地址進行請求，代理型是在WEB服務器內部實現跳轉的。
Syntax: rewrite regex replacement [flag]; #通過正則表達式處理用戶請求並返回替換後的數據包。 Default: —Context: server, location, if

redirect；
#臨時重定向，重寫完成後以臨時重定向方式直接返回重寫後生成的新URL給客戶端，由客戶端重新發起請求；使用相對
路徑,或者http://或https://開頭，狀態碼：302
permanent；
#重寫完成後以永久重定向方式直接返回重寫後生成的新URL給客戶端，由客戶端重新發起請求，狀態碼：301
last；
#重寫完成後停止對當前URI在當前location中後續的其它重寫操作，而後對新的URL啓動新一輪重寫檢查，不建議在
location中使用
break；
#重寫完成後停止對當前URL在當前location中後續的其它重寫操作，而後直接將匹配結果返還給客戶端即結束循環並
返回數據給客戶端，建議在location中使用

2.2 rewrite案例-域名永久與臨時重定向

要求：
- 因業務需要，將訪問源域名 www.magedu.net 的請求永久重定向到www.magedu.com 。
- 臨時重定向不會緩存域名解析記錄(A記錄)，但是永久重定向會緩存。

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server {
  listen 80;
  server_name www.bokebi.tech;
  location / {
  root html;
  index index.html index.htm;
#	rewrite ^(.*)$ https://www.baidu.com1$1 permanent;
#	rewrite ^(.*)$ https://www.baidu.com$1 redirect;
# rewrite / http://www.baidu.com permanent; #永久重定向
#	rewrite / http://www.magedu.com redirect; #臨時重定向
  }
}

2.2.1 永久重定向

域名永久重定向，京東早期的域名 www.360buy.com 由於與360公司類似，於是後期永久重定向到了 www.jd.com ，永久重定向會緩存DNS解析記錄
瀏覽器訪問www.bokebi.tech

2.2.1 臨時重定向

域名臨時重定向，告訴瀏覽器域名不是固定重定向到當前目標域名，後期可能隨時會更改，因此瀏覽器不會緩存當前域名的解析記錄，而瀏覽器會緩存永久重定向的DNS解析記錄，這也是臨時重定向與永久重定向最大的本質區別。
瀏覽器訪問www.bokebi.tech

2.2.3 二者區別

永久重定向：返回的狀態碼是301，告訴瀏覽器域名是固定重定向到當前⽬標域名，後期不會更改了。拿上面的例子來說就是將www.hechunping.tech永久重定向到www.hechunping.com。
臨時重定向：返回的狀態碼是302，告訴瀏覽器域名不是固定重定向到當前⽬標域名，後期可能隨時會更改，因此瀏覽器不會緩存當前域名的解析記錄，⽽瀏覽器會緩存永久重定向的DNS解析記錄，這也是臨時重定向與永久重定向最⼤的本質區別。

2.3 rewrite案例-break與last

訪問about的請求被轉發至images，而訪問images傳遞請求再次被轉發至images1，以此測試last和break分別有什麼區別

2.3.1 break案例

break測試案例：當客戶端訪問break的時候，測試通過rewrite將URL重寫爲test1，然後再通過rewrite將test1重寫爲test2測試兩條write規則最終哪一條生效，並且測試重寫後的URL會不會到其他location重新匹配。

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server {
  listen 80;
  server_name www.bokebi.tech;
  location /break {
  root html;
  index index.html index.htm;
  rewrite ^/break/(.*)$ /test1/$1 break;
  rewrite ^/test1/(.*)$ /test2/$1 break;
  }
}
------------------------------------
//測試實驗結果
curl http://www.bokebi.tech/break/index.html

test1

2.3.2 last案例

last：對某個location的URL匹配成功後會停止當前location的後續rewrite規則，並結束當前location，然後將匹配生成的新URL跳轉至其他location繼續匹配，直到沒有location可匹配後將最後一次location的數據返回給客戶端。

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server {
  listen 80;
  server_name www.bokebi.tech;
  location /break {
  root html;
  index index.html index.htm;
  rewrite ^/break/(.*)$ /test1/$1 last;
  }
  location /test1{
  root html;
  index index.html index.htm;
  rewrite ^/test1/(.*)$ /test2/$1 break;
  }
}

------------------------------------
//測試實驗結果
curl http://www.bokebi.tech/break/index.html

test2

2.3.3 二者區別

break適用於不改變客戶端訪問方式，但是要將訪問的目的URL做單次重寫的場景，比如有V1/V2兩個版本的網站前端頁面並存，舊版本的網站數據已經保存到了statics不能丟失，但是要將訪問新版本的資源重寫到新的靜態資源路徑到
新的目錄static
last適用於要不改變客戶端訪問方式但是需做多次目的URL重寫的場景，場景不是很多。

2.4 rewrite案例-自動跳轉https

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server{
	listen 80;
	server_name www.bokebi.tech;
	if ( $scheme = http ){
	rewrite ^(.*)$ https://server_name$request_uri permanent;
	}
}
server {
	listen 80;
	server_name www.bokebi.tech;
	ssl_certificate /apps/nginx/certs/www.bokebi.tech.crt;
	ssl_certificate_key /apps/nginx/certs/www.bokebi.tech.key;
	ssl_session_cache shared:sslcache:20m;
	ssl_session_timeout 10m;
	location / {
		root /apps/nginx/html/pc;
		index index.html;
	}
}

2.5 rewrite案例-判斷文件是否存在

要求：當用戶訪問到公司網站的時輸入了一個錯誤的URL，可以將用戶重定向至官網首頁。

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/pc.conf

server{
	listen 80;
	server_name www.bokebi.tech;
	location / {
	root /apps/nginx/html/pc;
	index index.html index.html;
	if ( !-f $request_filename ){
		rewrite ^(.*) http://www.bokebi.tech/index.html;
		}
	}
}

瀏覽器訪問www.bokebi.tech

3.nginx防盜鏈

防盜鏈基於客戶端攜帶的referer實現，referer是記錄打開一個頁面之前記錄是從哪個頁面跳轉過來的標記信息，如果別人只鏈接了自己網站圖片或某個單獨的資源，而不是打開了網站的整個頁面，這就是盜鏈，referer就是之前的那個網站域名，正常的referer信息有以下幾種：

none：請求報文首部沒有referer首部，比如用戶直接在瀏覽器輸入域名訪問web網站，就沒有referer信息。
blocked：請求報文有referer首部，但無有效值，比如爲空。
server_names：referer首部中包含本主機名及即nginx 監聽的server_name。
arbitrary_string：自定義指定字符串，但可使用*作通配符。
regular expression：被指定的正則表達式模式匹配到的字符串,要使用~開頭，例如： ~.*\.magedu\.com。

正常通過搜索引擎搜索web網站並訪問該網站的referer信息如下：

172.20.1.11 - - [11/Jan/2020:12:10:50 +0800] "GET /index.html HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
172.20.1.11 - - [11/Jan/2020:12:10:50 +0800] "GET /favicon.ico HTTP/1.1" 302 145 "http://www.bokebi.tech/index.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"

3.1 實現web盜鏈

在www.bokebi.tech這個網站盜鏈www.bokebi.net網站的a1.jpg圖片

//www.bokebi.tech網站的設置
cat /apps/nginx/conf/conf.d/pc.conf

server{
	listen 80;
	server_name www.bokebi.tech;
	location / {
	root /apps/nginx/html/pc;
	index index.html index.html;
	accesss_log /data/nginx/logs/www.bokebi.tech/access.log_json;
	}
}

//測試頁面設置
cat /apps/nginx/html/pc/index.html

<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>盜鏈頁面</title>
</head>
<body>
<a href="http://www.bokebi.net/hechunping/index.html">測試盜鏈</a>
<img src="http://www.bokebi.net/a1.jpg">
</body>
</html>

//www.bokebi.net網站的nginx設置
cat /apps/nginx/conf/conf.d/net.conf

server {
	listen 80;
	server_name www.bokebi.net;
	location ~* \.(png|jpg)$ {
		root html/images;
		access_log /data/nginx/logs/www.bokebi.net/access.log access.json;
	}
}

//查看測試圖片
ls /apps/nginx/html/images
a1.jpg

//查看跳轉頁面信息
cat /apps/nginx/html/net/index.html

主配置文件中access_json格式
    log_format access_json '{"@timestamp":"$time_iso8601",'    #json格式日誌文件
    '"host":"$server_addr",'  '"clientip":"$remote_addr",'
    '"size":$body_bytes_sent,'
    '"responsetime":$request_time,'
    '"upstreamtime":"$upstream_response_time",'
    '"upstreamhost":"$upstream_addr",'
    '"http_host":"$host",'
    '"uri":"$uri",'
    '"domain":"$host",'
    '"xff":"$http_x_forwarded_for",'
    '"referer":"$http_referer",'
    '"tcp_xff":"$proxy_protocol_addr",'
    '"http_user_agent":"$http_user_agent",'
    '"status":"$status"}';

瀏覽器訪問www.bokebi.tech

點擊盜鏈鏈接跳轉

分別查看.tech/.net網站的access_json日誌
主要看referer後跟的域名，非本機則圖片被盜鏈了

3.2 實現防盜鏈

基於訪問安全考慮，nginx⽀持通過ngx_http_referer_module模塊檢查訪問請求的referer信息是否有效，實現防盜鏈功能，定義⽅式如下：
官網文檔: https://nginx.org/en/docs/http/ngx_http_referer_module.html#valid_referers

#示例
//查看子配置文件得
cat /apps/nginx/conf/conf.d/net.conf

server {
	listen 80;
	server_name www.bokebi.net;
	location ~* \.(png|jpg)$ {
		root html/images;
		access_log /data/nginx/logs/www.bokebi.net/access.log access_json;
	    valid_referers none blocked server_names *.bokebi.net api.online.test/v1/hostlist ~\.google\. ~\.baidu\.; #定義有效的referer
		    if ($invalid_referer) { #假如是使用其他的無效的referer訪問
			      return 403; #則返回狀態碼403
		}
	}
}

//查看測試圖片信息
ls /apps/nginx/html/images
a1.jpg

linux高階-Nginx(九)-Rewrite相關功能

文章目錄

Nginx Rewrite相關功能

1. ngx_http_rewrite_module模塊指令

1.1 if指令

1.2 set指令

1.3 break指令

1.4 return指令

1.5 rewrite_log指令

2. rewrite指令

2.1 rewrite flag使用介紹

2.2 rewrite案例-域名永久與臨時重定向

2.2.1 永久重定向

2.2.1 臨時重定向

2.2.3 二者區別

2.3 rewrite案例-break與last

2.3.1 break案例

2.3.2 last案例

2.3.3 二者區別

2.4 rewrite案例-自動跳轉https

2.5 rewrite案例-判斷文件是否存在

3.nginx防盜鏈

3.1 實現web盜鏈

3.2 實現防盜鏈

開源高性能結構化日誌模塊NanoLog

杭州的 IT 崩盤了麼？

【簡寫Mybatis-02】註冊機的實現以及SqlSession處理

手繪二維碼

.NET藉助虛擬網卡實現一個簡單異地組網工具

NFS服務和自動掛載

linux進階-編譯安裝基於fastcgi 方式的多虛擬主機得LAMP架構

linux高階-Ubuntu簡介以及初始化實驗環境

linux進階-http常見配置大全

Linux進階-淺談apache

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結