mysql優化測試

Mysql配置優化淺談                            2015-10-27 11:20:15    

參考 http://lizhenliang.blog.51cto.com/7876557/1657465

 

mysqlslap --concurrency=800 --iterations=1 --auto-generate-sql --auto-generate-sql-load-type=mixed --number-int-cols=20 --number-char-cols=30 --engine=innodb --create-schema=testwyw --number-of-queries=1024 --host=localhost --user=root --password=123 --debug-info


show variables like 'max_connections';
show variables like 'max_used_connections';

        

安 裝MySQL後，配置文件my.cnf在MySQL安裝目錄/share/mysql目錄中，該目錄中還包含多個配置文件可供參考，有my- large.cnf ，my-huge.cnf，  my-medium.cnf，my-small.cnf，分別對應大中小型數據庫應用的配置。win環境下即存在於MySQL安裝目錄中的.ini文 件。

下面列出了對性能優化影響較大的主要變量，主要分爲連接請求的變量和緩衝區變量。
一、連接請求的變量

max_connections

MySQL的最大連接數，增加該值增加mysqld要求的文件描述符的數量。如果服務器的併發連接請求量比較大，建議調高此值，以增加並行連接數量，當然這建立在機器能支撐的情況下，因爲如果連接數越多，介於MySQL會爲每個連接提供連接緩衝區，就會開銷越多的內存，所以要適當調整該值，不能盲目提高設值。

數值過小會經常出現ERROR 1040: Too many connections錯誤，可以過‘conn%’通配符查看當前狀態的連接數量，以定奪該值的大小。

show variables like ’max_connections‘    查看最大連接數
show  status like ‘max_used_connections’   查看響應的連接數

如下：

mysql> show variables like ‘max_connections‘;

+———————–+——-+

| Variable_name　| Value |

+———————–+——-+

| max_connections | 256　　|

+———————–+——-+

mysql> show status like ‘max%connections‘;

+———————–+——-+

| Variable_name　      | Value |

+—————————-+——-+

| max_used_connections | 256|

+—————————-+——-+

max_used_connections / max_connections * 100% （理想值≈ 85%） 
如果max_used_connections跟max_connections相同 那麼就是max_connections設置過低或者超過服務器負載上限了，低於10%則設置過大。

back_log

MySQL能暫存的連接數量。當主要MySQL線程在一個很短時間內得到非常多的連接請求，這就起作用。如果MySQL的連接數據達到max_connections時，新來的請求將會被存在堆棧中，以等待某一連接釋放資源，該堆棧的數量即back_log，如果等待連接的數量超過back_log，將不被授予連接資源。

back_log值指出在MySQL暫時停止回答新請求之前的短時間內有多少個請求可以被存在堆棧中。只有如果期望在一個短時間內有很多連接，你需要增加它，換句話說，這值對到來的TCP/IP連接的偵聽隊列的大小。

當觀察你主機進程列表（mysql> show full processlist），發現大量264084 | unauthenticated user | xxx.xxx.xxx.xxx | NULL | Connect | NULL | login | NULL 的待連接進程時，就要加大back_log 的值了。

默認數值是50，可調優爲128，對於Linux系統設置範圍爲小於512的整數。

 interactive_timeout

一個交互連接在被服務器在關閉前等待行動的秒數。一個交互的客戶被定義爲對mysql_real_connect()使用CLIENT_INTERACTIVE 選項的客戶。 

默認數值是28800，可調優爲7200。

二、緩衝區變量
全局緩衝：

key_buffer_size

key_buffer_size指定索引緩衝區的大小，它決定索引處理的速度，尤其是索引讀的速度。通過檢查狀態值Key_read_requests和Key_reads，可以知道key_buffer_size設置是否合理。比例key_reads / key_read_requests應該儘可能的低，至少是1:100，1:1000更好（上述狀態值可以使用SHOW STATUS LIKE ‘key_read%’獲得）。

key_buffer_size只對MyISAM表起作用。即使你不使用MyISAM表，但是內部的臨時磁盤表是MyISAM表，也要使用該值。可以使用檢查狀態值created_tmp_disk_tables得知詳情。

舉例如下：

mysql> show variables like ‘key_buffer_size‘;

+——————-+————+

| Variable_name | Value      |

+———————+————+

| key_buffer_size | 536870912 |

+———— ———-+————+

key_buffer_size爲512MB，我們再看一下key_buffer_size的使用情況：

mysql> show global status like ‘key_read%‘;

+————————+————-+

| Variable_name　  | Value    |

+————————+————-+

| Key_read_requests| 27813678764 |

| Key_reads　　　|  6798830      |

+————————+————-+

一共有27813678764個索引讀取請求，有6798830個請求在內存中沒有找到直接從硬盤讀取索引，計算索引未命中緩存的概率：

key_cache_miss_rate ＝Key_reads / Key_read_requests * 100%，設置在1/1000左右較好

默認配置數值是8388600(8M)，主機有4GB內存，可以調優值爲268435456(256MB)。

query_cache_size

使用查詢緩衝，MySQL將查詢結果存放在緩衝區中，今後對於同樣的SELECT語句（區分大小寫），將直接從緩衝區中讀取結果。

通過檢查狀態值Qcache_*，可以知道query_cache_size設置是否合理（上述狀態值可以使用SHOW STATUS LIKE ‘Qcache%’獲得）。如果Qcache_lowmem_prunes的值非常大，則表明經常出現緩衝不夠的情況，如果Qcache_hits的值也非常大，則表明查詢緩衝使用非常頻繁，此時需要增加緩衝大小；如果Qcache_hits的值不大，則表明你的查詢重複率很低，這種情況下使用查詢緩衝反而會影響效率，那麼可以考慮不用查詢緩衝。此外，在SELECT語句中加入SQL_NO_CACHE可以明確表示不使用查詢緩衝。

與查詢緩衝有關的參數還有query_cache_type、query_cache_limit、query_cache_min_res_unit。

query_cache_type指定是否使用查詢緩衝，可以設置爲0、1、2，該變量是SESSION級的變量。

query_cache_limit指定單個查詢能夠使用的緩衝區大小，缺省爲1M。

query_cache_min_res_unit是在4.1版本以後引入的，它指定分配緩衝區空間的最小單位，缺省爲4K。檢查狀態值Qcache_free_blocks，如果該值非常大，則表明緩衝區中碎片很多，這就表明查詢結果都比較小，此時需要減小query_cache_min_res_unit。

舉例如下：

mysql> show global status like ‘qcache%‘;

+——————————-+—————–+

| Variable_name                  | Value　       |

+——————————-+—————–+

| Qcache_free_blocks　       | 22756　      |

| Qcache_free_memory　    | 76764704    |

| Qcache_hits　　　　　      | 213028692 |

| Qcache_inserts　　　　     | 208894227   |

| Qcache_lowmem_prunes   | 4010916      |

| Qcache_not_cached　| 13385031    |

| Qcache_queries_in_cache | 43560　|

| Qcache_total_blocks          | 111212　     |

+——————————-+—————–+

mysql> show variables like ‘query_cache%‘;

+————————————–+————–+

| Variable_name　　　　　       | Value　     |

+————————————–+———–+

| query_cache_limit　　　　　    | 2097152     |

| query_cache_min_res_unit　     | 4096　　  |

| query_cache_size　　　　　    | 203423744 |

| query_cache_type　　　　　   | ON　          |

| query_cache_wlock_invalidate | OFF　  |

+————————————–+—————+

查詢緩存碎片率= Qcache_free_blocks / Qcache_total_blocks * 100%

如果查詢緩存碎片率超過20%，可以用FLUSH QUERY CACHE整理緩存碎片，或者試試減小query_cache_min_res_unit，如果你的查詢都是小數據量的話。

查詢緩存利用率= (query_cache_size – Qcache_free_memory) / query_cache_size * 100%

查詢緩存利用率在25%以下的話說明query_cache_size設置的過大，可適當減小；查詢緩存利用率在80％以上而且Qcache_lowmem_prunes > 50的話說明query_cache_size可能有點小，要不就是碎片太多。

查詢緩存命中率= (Qcache_hits – Qcache_inserts) / Qcache_hits * 100%

示例服務器查詢緩存碎片率＝20.46％，查詢緩存利用率＝62.26％，查詢緩存命中率＝1.94％，命中率很差，可能寫操作比較頻繁吧，而且可能有些碎片。

每個連接的緩衝：

record_buffer_size

每個進行一個順序掃描的線程爲其掃描的每張表分配這個大小的一個緩衝區。如果你做很多順序掃描，你可能想要增加該值。

默認數值是131072(128K)，可改爲16773120 (16M)

read_rnd_buffer_size

隨機讀緩衝區大小。當按任意順序讀取行時(例如，按照排序順序)，將分配一個隨機讀緩存區。進行排序查詢時，MySQL會首先掃描一遍該緩衝，以避免磁盤搜索，提高查詢速度，如果需要排序大量數據，可適當調高該值。但MySQL會爲每個客戶連接發放該緩衝空間，所以應儘量適當設置該值，以避免內存開銷過大。

一般可設置爲16M

sort_buffer_size

每個需要進行排序的線程分配該大小的一個緩衝區。增加這值加速ORDER BY或GROUP BY操作。

默認數值是2097144(2M)，可改爲16777208 (16M)。

join_buffer_size

聯合查詢操作所能使用的緩衝區大小

record_buffer_size，read_rnd_buffer_size，sort_buffer_size，join_buffer_size爲每個線程獨佔，也就是說，如果有100個線程連接，則佔用爲16M*100

table_cache

表高速緩存的大小。每當MySQL訪問一個表時，如果在表緩衝區中還有空間，該表就被打開並放入其中，這樣可以更快地訪問表內容。通過檢查峯值時間的狀態值Open_tables和Opened_tables，可以決定是否需要增加table_cache的值。如果你發現open_tables等於table_cache，並且opened_tables在不斷增長，那麼你就需要增加table_cache的值了（上述狀態值可以使用SHOW STATUS LIKE ‘Open%tables’獲得）。注意，不能盲目地把table_cache設置成很大的值。如果設置得太高，可能會造成文件描述符不足，從而造成性能不穩定或者連接失敗。

1G內存機器，推薦值是128－256。內存在4GB左右的服務器該參數可設置爲256M或384M。

max_heap_table_size

用戶可以創建的內存表(memory table)的大小。這個值用來計算內存表的最大行數值。這個變量支持動態改變，即set @max_heap_table_size=#

這個變量和tmp_table_size一起限制了內部內存表的大小。如果某個內部heap（堆積）表大小超過tmp_table_size，MySQL可以根據需要自動將內存中的heap表改爲基於硬盤的MyISAM表。

tmp_table_size

通過設置tmp_table_size選項來增加一張臨時表的大小，例如做高級GROUP BY操作生成的臨時表。如果調高該值，MySQL同時將增加heap表的大小，可達到提高聯接查詢速度的效果，建議儘量優化查詢，要確保查詢過程中生成的臨時表在內存中，避免臨時表過大導致生成基於硬盤的MyISAM表。

mysql> show global status like ‘created_tmp%‘;

+——————————–+———+

| Variable_name　　           | Value　|

+———————————-+———+

| Created_tmp_disk_tables | 21197  |

| Created_tmp_files　　　| 58　　|

| Created_tmp_tables　　| 1771587 |

+——————————–+———–+

每次創建臨時表，Created_tmp_tables增加，如果臨時表大小超過tmp_table_size，則是在磁盤上創建臨時表，Created_tmp_disk_tables也增加,Created_tmp_files表示MySQL服務創建的臨時文件文件數，比較理想的配置是：

Created_tmp_disk_tables / Created_tmp_tables * 100% <= 25%比如上面的服務器Created_tmp_disk_tables / Created_tmp_tables * 100% ＝1.20%，應該相當好了

默認爲16M，可調到64-256最佳，線程獨佔，太大可能內存不夠I/O堵塞

thread_cache_size

可以複用的保存在中的線程的數量。如果有，新的線程從緩存中取得，當斷開連接的時候如果有空間，客戶的線置在緩存中。如果有很多新的線程，爲了提高性能可以這個變量值。

通過比較 Connections和Threads_created狀態的變量，可以看到這個變量的作用。

默認值爲110，可調優爲80。

thread_concurrency

推薦設置爲服務器 CPU核數的2倍，例如雙核的CPU, 那麼thread_concurrency的應該爲4；2個雙核的cpu, thread_concurrency的值應爲8。默認爲8

wait_timeout

指定一個請求的最大連接時間，對於4GB左右內存的服務器可以設置爲5-10。

三、配置InnoDB的幾個變量

innodb_buffer_pool_size

對於InnoDB表來說，innodb_buffer_pool_size的作用就相當於key_buffer_size對於MyISAM表的作用一樣。InnoDB使用該參數指定大小的內存來緩衝數據和索引。對於單獨的MySQL數據庫服務器，最大可以把該值設置成物理內存的80%。

根據MySQL手冊，對於2G內存的機器，推薦值是1G（50%）。

innodb_flush_log_at_trx_commit

主要控制了innodb將log buffer中的數據寫入日誌文件並flush磁盤的時間點，取值分別爲0、1、2三個。0，表示當事務提交時，不做日誌寫入操作，而是每秒鐘將log buffer中的數據寫入日誌文件並flush磁盤一次；1，則在每秒鐘或是每次事物的提交都會引起日誌文件寫入、flush磁盤的操作，確保了事務的ACID；設置爲2，每次事務提交引起寫入日誌文件的動作，但每秒鐘完成一次flush磁盤操作。

實際測試發現，該值對插入數據的速度影響非常大，設置爲2時插入10000條記錄只需要2秒，設置爲0時只需要1秒，而設置爲1時則需要229秒。因此，MySQL手冊也建議儘量將插入操作合併成一個事務，這樣可以大幅提高速度。

根據MySQL手冊，在允許丟失最近部分事務的危險的前提下，可以把該值設爲0或2。

innodb_log_buffer_size

log緩存大小，一般爲1-8M，默認爲1M，對於較大的事務，可以增大緩存大小。

可設置爲4M或8M。

innodb_additional_mem_pool_size

該參數指定InnoDB用來存儲數據字典和其他內部數據結構的內存池大小。缺省值是1M。通常不用太大，只要夠用就行，應該與表結構的複雜度有關係。如果不夠用，MySQL會在錯誤日誌中寫入一條警告信息。

根據MySQL手冊，對於2G內存的機器，推薦值是20M，可適當增加。

innodb_thread_concurrency=8

推薦設置爲 2*(NumCPUs+NumDisks)，默認一般爲8

mysqlslap是mysql自帶的基準測試工具,優點:查詢數據,語法簡單,靈活容易使用.該工具可以模擬多個客戶端同時併發的向服務器發出查 詢更新,給出了性能測試數據而且提供了多種引擎的性能比較.msqlslap爲mysql性能優化前後提供了直觀的驗證依據,建議系統運維和DBA人員應 該掌握一些常見的壓力測試工具,才能準確的掌握線上數據庫支撐的用戶流量上限及其抗壓性等問題。

相關閱讀：

1.工具詳細參數

--help      顯示幫助

--concurrency      代表併發數量,多個可以用逗號隔開

--engines             測試的引擎,多個用分隔符隔開

--iterations           運行這些測試多少次

--auto-generate-sql      系統自己生成的SQL腳本來測試

--auto-generate-sql-load-type     測試的是讀還是寫還是兩者混合的（read,write,update,mixed）

--number-of-queries                   總共要運行多少次查詢

--debug-info                               額外輸出CPU以及內存的相關信息

--number-int-cols                       創建測試表的 int 型字段數量

--auto-generate-sql-add-autoincrement        生成的表自動添加auto_increment列

--number-char-cols                  測試表的 char 型字段數量

--create-schema               測試的database

--query                          用自定義腳本執行測試

--only-print                            如果只想打印看看SQL語句是什麼,以用這個選項

2.測試實例(單個併發)

[root@node2 bin]# ./mysqlslap -uroot -psystem --concurrency=100 --iterations=1 --auto-generate-sql --auto-generate-sql-load-type=mixed --auto-generate-sql-add-autoincrement --engine=myisam --number-of-queries=10 --debug-info
Warning: Using a password on the command line interface can be insecure.
Benchmark
 Running for engine myisam
 Average number of seconds to run all queries: 0.209 seconds
 Minimum number of seconds to run all queries: 0.209 seconds
 Maximum number of seconds to run all queries: 0.209 seconds
 Number of clients running queries: 100
 Average number of queries per client: 0

User time 0.02, System time 0.09
Maximum resident set size 4684, Integral resident set size 0
Non-physical pagefaults 1476, Physical pagefaults 0, Swaps 0
Blocks in 0 out 0, Messages in 0 out 0, Signals 0
Voluntary context switches 2797, Involuntary context switches 25
[root@node2 bin]#

說明:測試100個併發線程,測試次數1次,自動生成SQL測試腳本,讀,寫,更新混合測試,自增長字段,測試引擎爲myisam,共運行10次查詢,輸出cpu資源信息

3.測試實例(多個併發)

[root@node2 bin]# ./mysqlslap --concurrency=50,100,200 --iterations=20 --number-int-cols=4 --number-char-cols=35 --auto-generate-sql --auto-generate-sql-add-autoincrement --auto-generate-sql-load-type=read --engine=myisam,innodb --number-of-queries=200 --verbose --socket=/tmp/mysql.sock -uroot -psystem
Warning: Using a password on the command line interface can be insecure.
Benchmark
 Running for engine myisam
 Average number of seconds to run all queries: 0.758 seconds
 Minimum number of seconds to run all queries: 0.671 seconds
 Maximum number of seconds to run all queries: 0.870 seconds
 Number of clients running queries: 50
 Average number of queries per client: 4

Benchmark
 Running for engine myisam
 Average number of seconds to run all queries: 0.840 seconds
 Minimum number of seconds to run all queries: 0.645 seconds
 Maximum number of seconds to run all queries: 1.117 seconds
 Number of clients running queries: 100
 Average number of queries per client: 2

Benchmark
 Running for engine myisam
 Average number of seconds to run all queries: 0.959 seconds
 Minimum number of seconds to run all queries: 0.802 seconds
 Maximum number of seconds to run all queries: 1.192 seconds
 Number of clients running queries: 200
 Average number of queries per client: 1

Benchmark
 Running for engine innodb
 Average number of seconds to run all queries: 0.701 seconds
 Minimum number of seconds to run all queries: 0.632 seconds
 Maximum number of seconds to run all queries: 0.778 seconds
 Number of clients running queries: 50
 Average number of queries per client: 4

Benchmark
 Running for engine innodb
 Average number of seconds to run all queries: 0.754 seconds
 Minimum number of seconds to run all queries: 0.560 seconds
 Maximum number of seconds to run all queries: 0.920 seconds
 Number of clients running queries: 100
 Average number of queries per client: 2

Benchmark
 Running for engine innodb
 Average number of seconds to run all queries: 0.860 seconds
 Minimum number of seconds to run all queries: 0.709 seconds
 Maximum number of seconds to run all queries: 1.173 seconds
 Number of clients running queries: 200
 Average number of queries per client: 1

[root@node2 bin]#

說明:測試50,100,200個併發,運行20次,存儲引擎myisam和innodb,運行200次查詢