mysql sql語句digest收集與展示

1.前言

mysql慢查詢，已經有現成的成熟的方案收集展示了：pt-query-digest結合box公司的anemometer，沒用過的移步：《mysql慢查詢可視化》（本章內容需要提前瞭解anemometer）。
但DBA們一定還遇到過這樣的問題：某個時間段CPU負載較高，但慢查卻沒有。這種情況一般是由高併發的但單個性能正常的SQL導致的，所以慢查沒有，但總體負載會升高。
那怎麼辦呢？
選擇1：配置events_statements_history_long，缺點明顯：數據很容易被覆蓋，查看不便。
選擇2：之前本人蔘考oracle原生的一個功能，每10s自動抓一次活動會話，記錄到表中，但有個明顯的缺點：從庫event_scheduler都是不開的，導致從庫沒法做。
針對該痛點，本人設計了一個定時收集events_statements_summary_by_digest，並通過amemometer展示的方案。

2.功能展示

選擇時間段、host(沿用的慢查中的名稱，理解爲mysql實例)：

展示每個digest的總次數、最高執行頻率（按分鐘）、平均耗時（毫秒）

點擊checksum，查看某個SQL執行頻率的走勢圖，展示每分鐘執行的次數

按天聚合：

如果想查看執行頻率波動有異常，可以在having中添加條件：
最高頻率是平均頻率的3倍：max(ts_cnt) > (sum(ts_cnt)/count(*)) * 3

3.實現邏輯

3.1.數據來源

events_statements_summary_by_digest
默認performance_schema_digests_size=10000，SQL digest較多的庫要調整到20000以上；
參數不能動態調整，沒有停機時間的實例可以監控記錄數，滿了truncate即可。

3.2.表結構

global_query_review、global_query_review_history直接沿用慢查的表結構，字段不變;
db_instance實：例配置表，記錄實例的信息，python自動定時掃描該表。

3.3.python程序

python程序由兩個JOB構成：
job1:check_db_pool：定時掃描db_instance表，更新連接池
job2:handle_db_all: 定時處理所有實例的數據入庫

job1
目標庫連接池存放在字典：db_pool_dic
獲取實例ip\端口等信息，包括ischanged(最近1分鐘實例信息是否改變)：get_instance()
按順序處理一下邏輯：

• 在db_pool_dic中，但不在get_instance()中的，從db_pool_dic中刪除
• 檢查db_pool_dic連接池的有效性(select 1)，無效則刪除
• 在get_instance()中，ischanged="changed"，且在db_pool_dic中的，從db_pool_dic中刪除
• 在get_instance()中，但不在db_pool_dic中，創建連接池，增加到db_pool_dic

job2
遍歷get_instance(),以線程方式處理每個目標庫：handle_db
handle_db主要任務是獲取最近1分鐘內每個digest執行次數的增量，入庫
增量是通過連續2次獲取的digest執行次數相減得到
按順序執行以下過程：

• 從redis中獲取上次set的digest信息：df_full_last_bytes=rs.get(redis_key_name)
• 查詢digest中LAST_SEEN>now()-1mins的數據：df_1min
• 查詢digest全量信息：df_full
• 如果df_full_last_bytes爲空：return
• df_full_last_bytes與df_1min關聯，計算增量
• redis set df_full_last_bytes,有效期90秒

補充2個SQL

df_full:
select concat('instance_name','-',digest,'-',ifnull(schema_name,'unknow')) checksum ,sum(count_star) count_star
from events_statements_summary_by_digest where digest is not NULL
group by checksum

df_1min:
select concat('instance_name ','-',digest,'-',ifnull(schema_name,'unknow')) checksum,ifnull(schema_name,'unknow') as db_max,
count_star,digest_text,round(avg_timer_wait/1000000000,1) query_time_avg
from events_statements_summary_by_digest
where LAST_SEEN > DATE_SUB(now(),INTERVAL 1 minute)
and digest is not NULL

4. 表結構

創建管理庫：digest_stat

4.1. db_instance

instance_name：自定義的實例名，唯一約束；

update_time數據變更後自動更新，python程序根據該字段更新連接池配置信息；

status：目標庫是否激活，啓用。

CREATE TABLE `db_instance` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `instance_name` varchar(50) COLLATE utf8mb4_bin NOT NULL,
  `ip_addr` varchar(15) COLLATE utf8mb4_bin NOT NULL,
  `port` int(11) NOT NULL,
  `user_name` varchar(50) COLLATE utf8mb4_bin NOT NULL,
  `password` varchar(50) COLLATE utf8mb4_bin NOT NULL,
  `status` int(1) NOT NULL DEFAULT '0' COMMENT '0:active, 1:inactive',
  `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `idxu_instancename` (`instance_name`),
  UNIQUE KEY `idx_ip_port` (`ip_addr`,`port`)
) ENGINE=InnoDB

4.2. global_query_review

CREATE TABLE `global_query_review` (
  `checksum` varchar(200) NOT NULL,
  `fingerprint` text NOT NULL,
  `sample` longtext,
  `first_seen` datetime DEFAULT NULL,
  `last_seen` datetime DEFAULT NULL,
  `reviewed_by` varchar(20) DEFAULT NULL,
  `reviewed_on` datetime DEFAULT NULL,
  `comments` text,
  `reviewed_status` varchar(24) DEFAULT NULL,
  PRIMARY KEY (`checksum`)
) ENGINE=InnoDB

4.3.global_query_review_history

 

CREATE TABLE `global_query_review_history` (
  `hostname_max` varchar(64) NOT NULL,
  `db_max` varchar(64) DEFAULT NULL,
  `checksum` varchar(200) NOT NULL,
  `sample` longtext,
  `ts_min` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
  `ts_max` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
  `ts_cnt` float DEFAULT NULL,
  `query_time_avg` float DEFAULT NULL,
  UNIQUE KEY `hostname_max` (`hostname_max`,`checksum`,`ts_min`,`ts_max`),
  KEY `ts_min` (`ts_min`),
  KEY `checksum` (`checksum`)
) ENGINE=InnoDB

該表記錄數會很多，我司的3個庫，保留了2天數據，記錄數分別爲41w,84w,163w

因此：
1，一定要對該表自動清理，一般不要超過7天；
2、可以調整python數據抽取策略，如每分鐘超過30次的才收集，平均耗時大於1毫秒的才收集，等等

5. Anemometer程序調整

在慢查調整過的基礎上，再做以下調整：

1. conf/datasource_slowlog.inc.php

修改數據庫信息

2. conf/config.inc.php 

$conf['history_defaults'] = array(
'table_fields' => array('date', 'cnt','max_freq','first_seen','last_seen','query_time_avg')

$conf['report_defaults'] = array(
 'fact-order'    => 'cnt DESC',
 'table_fields' => array('checksum','hostname','db','sql_short','cnt','max_freq','first_seen','last_seen','query_time_avg'),
 'dimension-hostname_max' => '一個默認的實例名稱'   ##  指定實例默認值，否則默認查所有數據，響應慢

        'custom_fields' => array(
                'checksum' => 'checksum',
                'hostname' => 'hostname_max',
                'db' => 'db_max',
                'sql_short' => 'LEFT(fact.sample,30)',
                'cnt' => 'sum(ts_cnt)',
                'max_freq' => 'max(ts_cnt)',
                'query_time_avg' => 'ROUND(avg(query_time_avg),1)',
                'first_seen'  => 'substring(min(ts_min),1,16)',
                'last_seen'  => 'substring(max(ts_max),1,16)',
                'date' => 'substring(ts_min,1,10)',
                'minute_ts'     => 'round(unix_timestamp(substring(ts_min,1,16)))'
        ),

    3. lib/Anemometer.php 

    private function translate_checksum($checksum)
    {
        {
            //throw new Exception("Invalid query checksum");
            return $checksum;
        }
    }

最後，具體python程序見：https://github.com/meishd/mysql_allsql_digest/