用Nginx實現接口慢查詢並可示化展示TOP 20

點擊上方「藍字」關注我們

前言

相信很多小夥伴都見過一些商業產品中的url接口響應時間，實時彙總顯示功能。可以理解爲web接口的慢查詢，與sql的慢查詢有異曲同工之妙，但是想做卻無從入手不知道怎麼實現此功能，所以今天就教大家如何實現用grafana+nginx+mysql來實現此功能。

0x0

   其實nginx本身就帶有接口響應時間的功能，只不過還需要改造下，比如說單獨記錄超過1000ms（1秒）的響應，並寫入數據庫中。要注意的是並不建議大家將記錄直接寫入數據庫中，因爲數據庫有時會成爲nginx的負擔，間接寫入即可。需要簡單修改下log模塊，涉及文件ngx_http_log_module.c 通常位於nginx-1.17.9/src/http/modules/ngx_http_log_module.c

 大約838行， 找到ngx_http_log_request_time函數並修改如下：

static u_char *
ngx_http_log_request_time(ngx_http_request_t *r, u_char *buf,
    ngx_http_log_op_t *op)
{
	ngx_time_t *tp;
	ngx_msec_int_t ms;
    time_t t = time(NULL);
	struct tm *loc_time = localtime(&t);
	tp = ngx_timeofday();
	u_char slow_log[2048];
	memset(slow_log, 0, sizeof(slow_log));
	ms = (ngx_msec_int_t) ((tp->sec - r->start_sec) * 1000
			+ (tp->msec - r->start_msec));
	ms = ngx_max(ms, 0);
	ngx_sprintf(slow_log, "%04d/%02d/%02d %02d:%02d:%02d %V %V?%V waste time %d.%d\n",
			loc_time->tm_year + 1900, loc_time->tm_mon + 1, loc_time->tm_mday,
			loc_time->tm_hour, loc_time->tm_min, loc_time->tm_sec,
			&r->headers_in.server, &r->uri, &r->args, (time_t) ms / 1000,
			ms % 1000);
	int logfd;
	if ((logfd = open("/var/log/nginx/nginx_slow.log", O_RDWR | O_CREAT | O_APPEND,
	S_IRUSR | S_IWUSR)) == -1) {
		ngx_log_error(NGX_LOG_ERR, r->connection->log, 0,
				"can not open file:logfile\n");
	}
	char Server_name[256];
	const char *server_name = "%.*s";
	memset(Server_name, 0, sizeof(Server_name));
	snprintf((char *) Server_name, sizeof(Server_name), server_name,
					r->headers_in.server.len, r->headers_in.server.data);
	/* 只記錄大於1秒的並且域名不是grafana.sshfortress.com  */
    if (ms > 1000 && strcmp("grafana.sshfortress.com", Server_name) != 0)
		write(logfd, slow_log, strlen((char *)slow_log));
	close(logfd);
	return ngx_sprintf(buf, "%T.%03M", (time_t) ms / 1000, ms % 1000);
}

之後再編譯即可

# ./configure --prefix=/usr/local/nginx1.17.9
# make -j4 ; make install

#mkdir -p /var/log/nginx; chmod -R 777 /var/log/nginx

簡單配置下

   server {
                listen *:80;
                server_name slow.sshfortress.com;
                location / {
                        proxy_set_header   Host    $host;
                        proxy_set_header   X-Real-IP $remote_addr;
                        proxy_set_header   REMOTE-HOST $remote_addr;
                        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_pass http://127.0.0.1:3000;
                }
        }
 

啓動nginx即可,如果接口響應時間超過1秒，那麼 /var/log/nginx/nginx_slow.log 中就會有記錄了。但這只是將慢查詢記錄而已，我們還需要排序以及可示化的展示。記錄也可以直接寫入mysql但我並沒有這麼做，爲什麼不直接寫入呢，原因是如果mysql如果響應慢則會影響nginx的響應，但寫入磁盤就不會出現這種情形了。接下來就簡單實現下把數據同步寫入到數據庫中。

0x01 

   首先建個表 用於同步寫入記錄

 CREATE TABLE `nginx_slow` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `date` datetime NOT NULL,
  `server_name` varchar(255) NOT NULL,
  `url` varchar(255) NOT NULL,
  `waste_time` decimal(11,3) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

之後實現一個同步數據的工具，這裏用shell即可實現，代碼如下：

#!/bin/bash
#    insert_mysql.sh
set -x
if [ $# != 1 ]
  then
 echo "Usage insert_mysql.sh /var/log/nginx/nginx_slow.log"
  exit 1
fi
tail -n 1 -f ${1}|while read var
do 
         value=`echo $var|awk '{print $3}'`
         value2=`echo $var|awk '{print $4}'`
         value3=`echo $var|awk '{print $7}'`
         echo "$value $value2 $value3"
         mysql -h 127.0.0.1 -usuper -pxxxxxxxxx -e "use nginx; INSERT INTO nginx_slow( date, server_name, url, waste_time) VALUES ( now(), '${value}', '${value2}', '$value3');"
done

運行腳本就可以同步寫入數據了，是不是很簡單呢

# ./insert_mysql.sh /var/log/nginx/nginx_slow.log
建議後臺運行，因爲要實時同步嘛
# nohub ./insert_mysql.sh /var/log/nginx/nginx_slow.log >> /dev/null 2>&1 &

0x02 

   最後在grafana裏面配置下當天接口慢查詢TOP 20即可，相關語句是

select n.url,avg(n.waste_time) 平均響應時長
from nginx_slow n
WHERE n.`date` > curdate()
group by 1
order by 2 desc
limit 20



或者

select n.server_name,n.url,avg(n.waste_time) 平均響應時長,count(1) 調用次數
from nginx_slow n
WHERE n.`date` > curdate()
group by 1,2
order by 3 desc
limit 50

最後效果圖如下