Mysql 日誌管理詳解

  日誌對於服務器維護來說是非常重要的,它記錄了服務器運行的信息,許多操作都會寫入到日誌文件,通過日誌文件可以瞭解服務器的運行狀態、服務器性能等;對維護人員進行排錯,故障處理,優化等提供詳細的依據。MySQL中有六種不同類型的日誌

一、日誌種類

1、錯誤日誌:記錄mysql啓動,運行或停止時出現的問題信息,一般也會記錄警告信息
2、一般查詢日誌:記錄與建立的客戶端連接和執行的語句
3、慢查詢日誌:記錄所有執行時間超高long_query_time 的所有查詢或不使用索引的查詢,可以幫助我們定位服務器性能的問題,優化索引。
4、二進制日誌:任何引起或可能引起數據變化的操作,主要用於複製和即時點恢復
5、中繼日誌:從主服務器的二進制日誌文件中複製而來的時間,並保存爲slave 服務器的日誌文件
6、事務日誌:記錄InnoDB 等支持事務的存儲引擎執行事務時產生的日誌

  Mysql 中對於日誌文件環境變量非常多,可以使用一下命令查看

mysql> show global variables like '%log%';
+-----------------------------------------+----------------------------------------+
| Variable_name                           | Value                                  |
+-----------------------------------------+----------------------------------------+
| back_log                                | 50                                     |
| binlog_cache_size                       | 32768                                  |
| binlog_direct_non_transactional_updates | OFF                                    |
| binlog_format                           | STATEMENT                              |
| binlog_stmt_cache_size                  | 32768                                  |
| expire_logs_days                        | 0                                      |
| general_log                             | OFF                                    |
| general_log_file                        | /application/mysql/data/bogon.log      |
| innodb_flush_log_at_trx_commit          | 1                                      |
| innodb_locks_unsafe_for_binlog          | OFF                                    |
| innodb_log_buffer_size                  | 8388608                                |
| innodb_log_file_size                    | 5242880                                |
| innodb_log_files_in_group               | 2                                      |
| innodb_log_group_home_dir               | ./                                     |
| innodb_mirrored_log_groups              | 1                                      |
| log                                     | OFF                                    |
| log_bin                                 | OFF                                    |
| log_bin_trust_function_creators         | OFF                                    |
| log_error                               | /application/mysql/data/bogon.err      |
| log_output                              | FILE                                   |
| log_queries_not_using_indexes           | OFF                                    |
| log_slave_updates                       | OFF                                    |
| log_slow_queries                        | OFF                                    |
| log_warnings                            | 1                                      |
| max_binlog_cache_size                   | 18446744073709547520                   |
| max_binlog_size                         | 1073741824                             |
| max_binlog_stmt_cache_size              | 18446744073709547520                   |
| max_relay_log_size                      | 0                                      |
| relay_log                               |                                        |
| relay_log_index                         |                                        |
| relay_log_info_file                     | relay-log.info                         |
| relay_log_purge                         | ON                                     |
| relay_log_recovery                      | OFF                                    |
| relay_log_space_limit                   | 0                                      |
| slow_query_log                          | OFF                                    |
| slow_query_log_file                     | /application/mysql/data/bogon-slow.log |
| sql_log_bin                             | ON                                     |
| sql_log_off                             | OFF                                    |
| sync_binlog                             | 0                                      |
| sync_relay_log                          | 0                                      |
| sync_relay_log_info                     | 0                                      |
+-----------------------------------------+----------------------------------------+
41 rows in set (0.00 sec)

二、錯誤日誌

        錯誤日誌主要記錄:

1、服務器啓動和關閉過程中的信息
2、服務器運行過程中的錯誤信息
3、事件調度器運行一個事件時產生的信息
4、在從服務器上啓動從服務器進程時產生的信息

        錯誤日誌定義:
        可以用–log-error [ = file_name ]選項來指定mysqld保存錯誤日誌文件的位置。如果沒有給定file_name值,mysqld使用錯誤日誌名host_name.err 並在數據目錄中寫入日誌文件。如果你執行flush logs,錯誤日誌用-old重新命名後綴並且mysqld創建一個新的空日誌文件。(如果未給出–log-error選項,則不會重新命名)。錯誤日誌一般有log_error(錯誤日誌文件) 和log_warnings(啓用警告信息) 兩個變量可以定義,默認使用log_warnings。

mysql> show global variables like '%log_error%';
+---------------+-----------------------------------+
| Variable_name | Value                             |
+---------------+-----------------------------------+
| log_error     | /application/mysql/data/bogon.err |
+---------------+-----------------------------------+
1 row in set (0.00 sec)

mysql> show global variables like '%log_warnings%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_warnings  | 1     |
+---------------+-------+
1 row in set (0.00 sec)

三、查詢日誌

        3.1 一般查詢日誌

        啓動開關:general_log={ON|OFF}

        日誌文件變量:general_log_file [ =/PATH/TO/file]
        全局日誌開關:log={ON|OFF};該開關打開後,所有日誌都會被啓用
        記錄類型:log_output={TABLE|FILE|NONE};log_output定義了日誌的輸出格式,可以是表,文件,若設置爲NONE,則不啓用日誌。因此,要啓用通用查詢日誌,需要至少配置general_log=ON,log_output={TABLE|FILE}。而general_log_file如果沒有指定,默認名是host_name.log。

由於一般查詢使用量比較大,啓用寫入日誌文件,服務器的I/O操作較多,會大大降低服務器的性能,所以默認爲關閉的。

mysql> show global variables like '%general_log%';
+------------------+-----------------------------------+
| Variable_name    | Value                             |
+------------------+-----------------------------------+
| general_log      | OFF                               |
| general_log_file | /application/mysql/data/bogon.log |
+------------------+-----------------------------------+
2 rows in set (0.00 sec)

mysql> show global variables like '%general_log_file%';
+------------------+-----------------------------------+
| Variable_name    | Value                             |
+------------------+-----------------------------------+
| general_log_file | /application/mysql/data/bogon.log |
+------------------+-----------------------------------+
1 row in set (0.00 sec)

可以使用以下命令開啓general_log:

mysql> show global variables like '%general_log%';
+------------------+-----------------------------------+
| Variable_name    | Value                             |
+------------------+-----------------------------------+
| general_log      | ON                                |
| general_log_file | /application/mysql/data/bogon.log |
+------------------+-----------------------------------+
2 rows in set (0.00 sec)

    3.2、慢查詢日誌

    查詢超時時間:long_query_time  

    啓動慢查日誌:log_slow_queries={YES|NO}
    啓動慢查日誌 : slow_query_log                    
    日誌記錄文件:slow_query_log_file [= file_name ] 
    MySQL如果啓用了slow_query_log=ON選項,就會記錄執行時間超過long_query_time的查詢(初使表鎖定的時間不算作執行時間)。日誌記錄文件如果沒有給出file_name值, 默認爲主機名,後綴爲-slow.log。如果給出了文件名,但不是絕對路徑名,文件則寫入數據目錄。

mysql> show global variables like '%slow_query_log%';
+---------------------+----------------------------------------+
| Variable_name       | Value                                  |
+---------------------+----------------------------------------+
| slow_query_log      | OFF                                    |
| slow_query_log_file | /application/mysql/data/bogon-slow.log |
+---------------------+----------------------------------------+
2 rows in set (0.00 sec)

默認沒有啓用慢查詢,爲了服務器調優,建議開啓。

mysql> show global variables like '%long_query%';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)
超長時間默認爲10秒,超過了即爲慢查詢。

四、二進制日誌

二進制日誌啓動開關:log-bin [= file_name]
二進制日誌用於記錄所有更改數據的語句,主要用於複製和即時點恢復。二進制日誌的主要目的是在數據庫存在故障時,恢復時能夠最大可能地更新數據庫(即時點恢復),因爲二進制日誌包含備份後進行的所有更新,二進制日誌還用於在主複製服務器上記錄所有將發送給從服務器的語句。
查看二進制日誌的工具爲:mysqlbinlog

二進制日誌的格式:
1、基於語句: statement level;#優點:存儲量小,節約IO,提高性能
2、基於行: row level;#優點:1非常清楚的記錄每一行數據修改的細節,不會出現某些特定情況下存儲過程
3、混合方式: mixed level;#繼承了row level模式和statement level模式的優點,mysql 自動選擇最佳的格式

二進制日誌事件:
1、產生的時間:starttime
2、相對位置:position

二進制日誌文件:
1、索引文件
2、二進制日誌文件

在數據目錄下有一個mysql-bin.index便是索引文件,以mysql-bin開頭並以數字結尾的文件爲二進制日誌文件。
日誌的滾動:
MySQL的滾動方式與其他日誌不太一樣,滾動時會創建一個新的編號大1的日誌用於記錄最新的日誌,而原日誌名字不會被改變。每次重啓MySQL服務,日誌都會自動滾動一次。
另外如果需要手動滾動,則使用命令:

mysql> show binary logs;  #查看所有的二進制文件
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |      1067 |
| mysql-bin.000002 |       513 |
+------------------+-----------+
2 rows in set (0.00 sec)


插入數據後,position會發生改變。

修改之前的position
mysql> show master status\G
*************************** 1. row ***************************
            File: mysql-bin.000002
        Position: 929    ####未改變前的position 爲929
    Binlog_Do_DB: 
Binlog_Ignore_DB: 
1 row in set (0.00 sec)
修改之後
mysql> insert into master(name) values('lilei');#插入一條數據
Query OK, 1 row affected (0.02 sec)

mysql> insert into master(name) values('lilei');
Query OK, 1 row affected (0.01 sec)

mysql> insert into master(name) values('lilei');
Query OK, 1 row affected (0.02 sec)

mysql> show master status\G
*************************** 1. row ***************************
            File: mysql-bin.000002
        Position: 1547  #####插入三條語句後的position 變成了1547
    Binlog_Do_DB: 
Binlog_Ignore_DB: 
1 row in set (0.00 sec)



mysql> show binlog events in 'mysql-bin.000002' from 929;
+------------------+------+------------+-----------+-------------+----------------------------------------------------------+
| Log_name         | Pos  | Event_type | Server_id | End_log_pos | Info                                                     |
+------------------+------+------------+-----------+-------------+----------------------------------------------------------+
| mysql-bin.000002 |  929 | Query      |         1 |        1001 | BEGIN                                                    |
| mysql-bin.000002 | 1001 | Query      |         1 |        1108 | use `master01`; insert into master(name) values('lilei') |
| mysql-bin.000002 | 1108 | Xid        |         1 |        1135 | COMMIT /* xid=51 */                                      |
| mysql-bin.000002 | 1135 | Query      |         1 |        1207 | BEGIN                                                    |
| mysql-bin.000002 | 1207 | Query      |         1 |        1314 | use `master01`; insert into master(name) values('lilei') |
| mysql-bin.000002 | 1314 | Xid        |         1 |        1341 | COMMIT /* xid=52 */                                      |
| mysql-bin.000002 | 1341 | Query      |         1 |        1413 | BEGIN                                                    |
| mysql-bin.000002 | 1413 | Query      |         1 |        1520 | use `master01`; insert into master(name) values('lilei') |
| mysql-bin.000002 | 1520 | Xid        |         1 |        1547 | COMMIT /* xid=53 */                                      |
+------------------+------+------------+-----------+-------------+----------------------------------------------------------+
9 rows in set (0.00 sec)

mysql> purge binary logs to 'mysql-bin.000002';#用於刪除列於在指定的日誌或日期之前的日誌索引中的所有二進制日誌。這些日誌也會從記錄在日誌索引文件中的清單中被刪除,這樣被給定的日誌成爲第一個
Query OK, 0 rows affected (0.01 sec)

mysql> show binary logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000002 |      1547 |
+------------------+-----------+
1 row in set (0.00 sec)

使用命令mysqlbinlog查看二進制日誌內容:

基本語法:

mysqlbinlog [options] log-files
常用options(類似字節偏移數):
--start-position     :開始位置
--stop-position     :結束位置
--start-datetime 'yyyy-mm-dd hh:mm:ss'  :開始時間
--stop-datetime 'yyyy-mm-dd hh:mm:ss'  :結束時間

[root@bogon mysql]# bin/mysqlbinlog --start-position 513 --stop-position 1067 ./data/mysql-bin.000002
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!40019 SET @@session.max_insert_delayed_threads=0*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#161229 21:56:12 server id 1  end_log_pos 107 	Start: binlog v 4, server v 5.5.53-log created 161229 21:56:12 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
/BVlWA8BAAAAZwAAAGsAAAABAAQANS41LjUzLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAD8FWVYEzgNAAgAEgAEBAQEEgAAVAAEGggAAAAICAgCAA==
'/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

五、中繼日誌

詳見mysql 主從複製  

六、事務日誌 

事務性存儲引擎用於保證(ACID)原子性、一致性、隔離性和持久性;其不會立即寫到數據文件中,而是寫到事務日誌中。

innodb_flush_log_at_trx_commit:
0: 每秒同步,並執行磁盤flush操作;
1:每事務同步,並執行磁盤flush操作;
2: 每事務同步,但不執行磁盤flush操作;
mysql> show global variables like '%innodb_flush%';
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| innodb_flush_log_at_trx_commit | 1     |
| innodb_flush_method            |       |
+--------------------------------+-------+
2 rows in set (0.00 sec)


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章