MySQL 性能優化方案(轉載)

    

原文地址http://www.dba.cn/    

網上有不少mysql 性能優化方案,不過,mysql的優化同sql server相比,更爲麻煩與複雜,同樣的設置,在不同的環境下 ,由於內存,訪問量,讀寫頻率,數據差異等等情況,可能會出現不同的結果,因此簡單地根據某個給出方案來配置mysql是行不通的,最好能使用status信息對mysql進行具體的優化,網上找了一篇文章,分頁分得亂七八糟的,只能轉到博客。

mysql> show global status;

可以列出MySQL服務器運行各種狀態值,另外,查詢MySQL服務器配置信息語句:

mysql> show variables;

一、慢查詢

mysql> show variables like ‘%slow%‘;
+------------------+-------+
| Variable_name     | Value |
+------------------+-------+
| log_slow_queries | ON     |
| slow_launch_time | 2      |
+------------------+-------+

mysql> show global status like ‘%slow%‘;
+———————+——-+
| Variable_name        | Value |
+———————+——-+
| Slow_launch_threads | 0      |
| Slow_queries         | 4148 |
+———————+——-+

配置中打開了記錄慢查詢,執行時間超過2秒的即爲慢查詢,系統顯示有4148個慢查詢,你可以分析慢查詢日誌,找出有問題的SQL語句,慢查詢時間 不宜設置過長,否則意義不大,最好在5秒以內,如果你需要微秒級別的慢查詢,可以考慮給MySQL打補丁:http://www.percona.com /docs/wiki/release:start,記得找對應的版本。

打開慢查詢日誌可能會對系統性能有一點點影響,如果你的MySQL是主-從結構,可以考慮打開其中一臺從服務器的慢查詢日誌,這樣既可以監控慢查詢,對系統性能影響又小。

二、連接數

經常會遇見”MySQL: ERROR 1040: Too many connections”的情況,一種是訪問量確實很高,MySQL服務器抗不住,這個時候就要考慮增加從服務器分散讀壓力,另外一種情況是MySQL配 置文件中max_connections值過小:

mysql> show variables like ‘max_connections‘;
+—————–+——-+
| Variable_name    | Value |
+—————–+——-+
| max_connections | 256   |
+—————–+——-+

這臺MySQL服務器最大連接數是256,然後查詢一下服務器響應的最大連接數:

mysql> show global status like ‘Max_used_connections‘;

MySQL服務器過去的最大連接數是245,沒有達到服務器連接數上限256,應該沒有出現1040錯誤,比較理想的設置是

Max_used_connections / max_connections * 100% ≈ 85%

最大連接數占上限連接數的85%左右,如果發現比例在10%以下,MySQL服務器連接數上限設置的過高了。

三、Key_buffer_size

key_buffer_size是對MyISAM表性能影響最大的一個參數,下面一臺以MyISAM爲主要存儲引擎服務器的配置:

mysql> show variables like ‘key_buffer_size‘;+—————–+————+
| Variable_name    | Value       |
+—————–+————+
| key_buffer_size | 536870912 |
+—————–+————+

分配了512MB內存給key_buffer_size,我們再看一下key_buffer_size的使用情況:

mysql> show global status like ‘key_read%‘;
+————————+————-+
| Variable_name           | Value        |
+————————+————-+
| Key_read_requests       | 27813678764 |
| Key_reads               | 6798830      |
+————————+————-+

一共有27813678764個索引讀取請求,有6798830個請求在內存中沒有找到直接從硬盤讀取索引,計算索引未命中緩存的概率:

key_cache_miss_rate = Key_reads / Key_read_requests * 100%

比如上面的數據,key_cache_miss_rate爲0.0244%,4000個索引讀取請求才有一個直接讀硬盤,已經很BT 了,key_cache_miss_rate在0.1%以下都很好(每1000個請求有一個直接讀硬盤),如果key_cache_miss_rate在 0.01%以下的話,key_buffer_size分配的過多,可以適當減少。

MySQL服務器還提供了key_blocks_*參數:

mysql> show global status like ‘key_blocks_u%‘;
+————————+————-+
| Variable_name           | Value        |
+————————+————-+
| Key_blocks_unused       | 0            |
| Key_blocks_used         | 413543       |
+————————+————-+

Key_blocks_unused表示未使用的緩存簇(blocks)數,Key_blocks_used表示曾經用到的最大的blocks數, 比如這臺服務器,所有的緩存都用到了,要麼增加key_buffer_size,要麼就是過渡索引了,把緩存佔滿了。比較理想的設置:

Key_blocks_used / (Key_blocks_unused + Key_blocks_used) * 100% ≈ 80%

四、臨時表

mysql> show global status like ‘created_tmp%‘;
+————————-+———+
| Variable_name            | Value    |
+————————-+———+
| Created_tmp_disk_tables | 21197    |
| Created_tmp_files        | 58       |
| Created_tmp_tables       | 1771587 |
+————————-+———+

每次創建臨時表,Created_tmp_tables增加,如果是在磁盤上創建臨時表,Created_tmp_disk_tables也增加,Created_tmp_files表示MySQL服務創建的臨時文件文件數,比較理想的配置是:

Created_tmp_disk_tables / Created_tmp_tables * 100% <= 25%比如上面的服務器Created_tmp_disk_tables / Created_tmp_tables * 100% = 1.20%,應該相當好了。我們再看一下MySQL服務器對臨時表的配置:

mysql> show variables where Variable_name in (‘tmp_table_size‘, ‘max_heap_table_size‘);
+———————+———–+
| Variable_name        | Value      |
+———————+———–+
| max_heap_table_size | 268435456 |
| tmp_table_size       | 536870912 |
+———————+———–+

只有256MB以下的臨時表才能全部放內存,超過的就會用到硬盤臨時表。

五、Open Table情況

mysql> show global status like ‘open%tables%‘;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| Open_tables    | 919    |
| Opened_tables | 1951  |
+—————+——-+

Open_tables表示打開表的數量,Opened_tables表示打開過的表數量,如果Opened_tables數量過大,說明配置中 table_cache(5.1.3之後這個值叫做table_open_cache)值可能太小,我們查詢一下服務器table_cache值:

mysql> show variables like ‘table_cache‘;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| table_cache    | 2048  |
+—————+——-+

比較合適的值爲:

Open_tables / Opened_tables * 100% >= 85%

Open_tables / table_cache * 100% <= 95%

六、進程使用情況

mysql> show global status like ‘Thread%‘;
+——————-+——-+
| Variable_name      | Value |
+——————-+——-+
| Threads_cached     | 46     |
| Threads_connected | 2      |
| Threads_created    | 570    |
| Threads_running    | 1      |
+——————-+——-+

如果我們在MySQL服務器配置文件中設置了thread_cache_size,當客戶端斷開之後,服務器處理此客戶的線程將會緩存起來以響應下 一個客戶而不是銷燬(前提是緩存數未達上限)。Threads_created表示創建過的線程數,如果發現Threads_created值過大的話, 表明MySQL服務器一直在創建線程,這也是比較耗資源,可以適當增加配置文件中thread_cache_size值,查詢服務器 thread_cache_size配置:

mysql> show variables like ‘thread_cache_size‘;
+——————-+——-+
| Variable_name      | Value |
+——————-+——-+
| thread_cache_size | 64     |
+——————-+——-+

示例中的服務器還是挺健康的。

七、查詢緩存(query cache)

mysql> show global status like ‘qcache%‘;
+————————-+———–+
| Variable_name            | Value      |
+————————-+———–+
| Qcache_free_blocks       | 22756      |
| Qcache_free_memory       | 76764704  |
| Qcache_hits              | 213028692 |
| Qcache_inserts           | 208894227 |
| Qcache_lowmem_prunes     | 4010916    |
| Qcache_not_cached        | 13385031  |
| Qcache_queries_in_cache | 43560      |
| Qcache_total_blocks      | 111212     |
+————————-+———–+

MySQL查詢緩存變量解釋:

Qcache_free_blocks:緩存中相鄰內存塊的個數。數目大說明可能有碎片。FLUSH QUERY CACHE會對緩存中的碎片進行整理,從而得到一個空閒塊。

Qcache_free_memory:緩存中的空閒內存。

Qcache_hits:每次查詢在緩存中命中時就增大

Qcache_inserts:每次插入一個查詢時就增大。命中次數除以插入次數就是不中比率。

Qcache_lowmem_prunes:緩存出現內存不足並且必須要進行清理以便爲更多查詢提供空間的次數。這個數字最好長時間來看;如果這個 數字在不斷增長,就表示可能碎片非常嚴重,或者內存很少。(上面的 free_blocks和free_memory可以告訴您屬於哪種情況)

Qcache_not_cached:不適合進行緩存的查詢的數量,通常是由於這些查詢不是 SELECT 語句或者用了now()之類的函數。

Qcache_queries_in_cache:當前緩存的查詢(和響應)的數量。

Qcache_total_blocks:緩存中塊的數量。

我們再查詢一下服務器關於query_cache的配置:

mysql> show variables like ‘query_cache%‘;
+——————————+———–+
| Variable_name                 | Value      |
+——————————+———–+
| query_cache_limit             | 2097152    |
| query_cache_min_res_unit      | 4096       |
| query_cache_size              | 203423744 |
| query_cache_type              | ON         |
| query_cache_wlock_invalidate | OFF        |
+——————————+———–+

各字段的解釋:

query_cache_limit:超過此大小的查詢將不緩存

query_cache_min_res_unit:緩存塊的最小大小

query_cache_size:查詢緩存大小

query_cache_type:緩存類型,決定緩存什麼樣的查詢,示例中表示不緩存 select sql_no_cache 查詢

query_cache_wlock_invalidate:當有其他客戶端正在對MyISAM表進行寫操作時,如果查詢在query cache中,是否返回cache結果還是等寫操作完成再讀表獲取結果。

query_cache_min_res_unit的配置是一柄”雙刃劍”,默認是4KB,設置值大對大數據查詢有好處,但如果你的查詢都是小數據查詢,就容易造成內存碎片和浪費。

查詢緩存碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100%

如果查詢緩存碎片率超過20%,可以用FLUSH QUERY CACHE整理緩存碎片,或者試試減小query_cache_min_res_unit,如果你的查詢都是小數據量的話。

查詢緩存利用率 = (query_cache_size – Qcache_free_memory) / query_cache_size * 100%

查詢緩存利用率在25%以下的話說明query_cache_size設置的過大,可適當減小;查詢緩存利用率在80%以上而且Qcache_lowmem_prunes > 50的話說明query_cache_size可能有點小,要不就是碎片太多。

查詢緩存命中率 = (Qcache_hits – Qcache_inserts) / Qcache_hits * 100%

示例服務器 查詢緩存碎片率 = 20.46%,查詢緩存利用率 = 62.26%,查詢緩存命中率 = 1.94%,命中率很差,可能寫操作比較頻繁吧,而且可能有些碎片。

八、排序使用情況

mysql> show global status like ‘sort%‘;
+——————-+————+
| Variable_name      | Value       |
+——————-+————+
| Sort_merge_passes | 29          |
| Sort_range         | 37432840    |
| Sort_rows          | 9178691532 |
| Sort_scan          | 1860569     |
+——————-+————+

Sort_merge_passes 包括兩步。MySQL 首先會嘗試在內存中做排序,使用的內存大小由系統變量 Sort_buffer_size 決定,如果它的大小不夠把所有的記錄都讀到內存中,MySQL 就會把每次在內存中排序的結果存到臨時文件中,等 MySQL 找到所有記錄之後,再把臨時文件中的記錄做一次排序。這再次排序就會增加 Sort_merge_passes。實際上,MySQL 會用另一個臨時文件來存再次排序的結果,所以通常會看到 Sort_merge_passes 增加的數值是建臨時文件數的兩倍。因爲用到了臨時文件,所以速度可能會比較慢,增加 Sort_buffer_size 會減少 Sort_merge_passes 和 創建臨時文件的次數。但盲目的增加 Sort_buffer_size 並不一定能提高速度,見 How fast can you sort data with MySQL?(引自http://qroom.blogspot.com/2007/09/mysql-select-sort.html,貌似被牆)

另外,增加read_rnd_buffer_size(3.2.3是record_rnd_buffer_size)的值對排序的操作也有一點的好處,參見:http://www.mysqlperformanceblog.com/2007/07/24/what-exactly-is-read_rnd_buffer_size/

九、文件打開數(open_files)

mysql> show global status like ‘open_files‘;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| Open_files     | 1410  |
+—————+——-+

mysql> show variables like ‘open_files_limit‘;
+——————+——-+
| Variable_name     | Value |
+——————+——-+
| open_files_limit | 4590  |
+——————+——-+

比較合適的設置:Open_files / open_files_limit * 100% <= 75%

十、表鎖情況

mysql> show global status like ‘table_locks%‘;
+———————–+———–+
| Variable_name          | Value      |
+———————–+———–+
| Table_locks_immediate | 490206328 |
| Table_locks_waited     | 2084912    |
+———————–+———–+

Table_locks_immediate表示立即釋放表鎖數,Table_locks_waited表示需要等待的表鎖數,如果 Table_locks_immediate / Table_locks_waited > 5000,最好採用InnoDB引擎,因爲InnoDB是行鎖而MyISAM是表鎖,對於高併發寫入的應用InnoDB效果會好些。示例中的服務器 Table_locks_immediate / Table_locks_waited = 235,MyISAM就足夠了。

十一、表掃描情況

mysql> show global status like ‘handler_read%‘;
+———————–+————-+
| Variable_name          | Value        |
+———————–+————-+
| Handler_read_first     | 5803750      |
| Handler_read_key       | 6049319850  |
| Handler_read_next      | 94440908210 |
| Handler_read_prev      | 34822001724 |
| Handler_read_rnd       | 405482605    |
| Handler_read_rnd_next | 18912877839 |
+———————–+————-+

各字段解釋參見http://hi.baidu.com/thinkinginlamp/blog/item/31690cd7c4bc5cdaa144df9c.html,調出服務器完成的查詢請求次數:

mysql> show global status like ‘com_select‘;
+—————+———–+
| Variable_name | Value      |
+—————+———–+
| Com_select     | 222693559 |
+—————+———–+

計算表掃描率:

表掃描率 = Handler_read_rnd_next / Com_select

如果表掃描率超過4000,說明進行了太多表掃描,很有可能索引沒有建好,增加read_buffer_size值會有一些好處,但最好不要超過8MB。

後記:

文中提到一些數字都是參考值,瞭解基本原理就可以,除了MySQL提供的各種status值外,操作系統的一些性能指標也很重要,比如常用的top,iostat等,尤其是iostat,現在的系統瓶頸一般都在磁盤IO上,關於iostat的使用,可以參考:http://www.php-oa.com/2009/02/03/iostat.html

沒有評論

MySQL優化 my.ini 配置說明

2014年1月2日 | 標籤:

[mysqld]
port = 3306
serverid = 1
socket = /tmp/mysql.sock
skip-name-resolve
#禁止MySQL對外部連接進行DNS解析,使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意,如果開啓該選項,則所有遠程主機連接授權 都要使用IP地址方式,否則MySQL將無法正常處理連接請求!注:如果用winform連接mysql,加入此句速度會有很大的提升

skip-locking
# 避免MySQL的外部鎖定,減少出錯機率增強穩定性。

back_log = 384
指定MySQL可能的連接數量。當MySQL主線程在很短的時間內接收到非常多的連接請求,該參數生效,主線程花費很短的時間檢查連接並且啓動一個新線 程。 back_log參數的值指出在MySQL暫時停止響應新請求之前的短時間內多少個請求可以被存在堆棧中。 如果系統在一個短時間內有很多連接,則需要增大該參數的值,該參數值指定到來的TCP/IP連接的偵聽隊列的大小。不同的操作系統在這個隊列大小上有它自 己的限制。 試圖設定back_log高於你的操作系統的限制將是無效的。默認值爲50。對於Linux系統推薦設置爲小於512的整數。

key_buffer_size = 32M
# key_buffer_size這對MyISAM表來說非常重要。如果只是使用MyISAM表,可以把它設置爲可用內存的 30-40%。合理的值取決於索引大小、數據量以及負載 — 記住,MyISAM表會使用操作系統的緩存來緩存數據,因此需要留出部分內存給它們,很多情況下數據比索引大多了。儘管如此,需要總是檢查是否所有的 key_buffer 都被利用了 — .MYI 文件只有 1GB,而 key_buffer 卻設置爲 4GB 的情況是非常少的。這麼做太浪費了。如果你很少使用MyISAM表,那麼也保留低於 16-32MB 的key_buffer_size 以適應給予磁盤的臨時表索引所需。

innodb_buffer_pool_size = 2.4G
#這對Innodb表來說非常重要。Innodb相比MyISAM表對緩衝更爲敏感。MyISAM可以在默認的 key_buffer_size 設置下運行的可以,然而Innodb在默認的innodb_buffer_pool_size 設置下卻跟蝸牛似的。由於Innodb把數據和索引都緩存起來,無需留給操作系統太多的內存,因此如果只需要用Innodb的話則可以設置它高達 70-80% 的可用內存。– 如果你的數據量不大,並且不會暴增,那麼無需把innodb_buffer_pool_size 設置的太大了。

innodb_additional_pool_size = 20M
#這個選項對性能影響並不太多,至少在有差不多足夠內存可分配的操作系統上是這樣。不過如果你仍然想設置爲 20MB(或者更大),因此就需要看一下Innodb其他需要分配的內存有多少。

innodb_log_file_size = 512M
#在高寫入負載尤其是大數據集的情況下很重要。這個值越大則性能相對越高,但是要注意到可能會增加恢復時間。我經常設置爲64-512MB,根據服務器大小而異。

innodb_log_buffer_size =16M
#默認的設置在中等強度寫入負載以及較短事務的情況下,服務器性能還可以。如果存在更新操作峯值或者負載較大,就應該考慮加大它的值了。如果它的值設置太 高了,可能會浪費內存 — 它每秒都會刷新一次,因此無需設置超過1秒所需的內存空間。通常8-16MB就足夠了。越小的系統它的值越小。

innodb_flush_logs_at_trx_commit = 2
#是否爲Innodb比MyISAM慢1000倍而頭大?看來也許你忘了修改這個參數了。默認值是 1,這意味着每次提交的更新事務(或者每個事務之外的語句)都會刷新到磁盤中,而這相當耗費資源,尤其是沒有電池備用緩存時。很多應用程序,尤其是從 MyISAM轉變過來的那些,把它的值設置爲 2 就可以了,也就是不把日誌刷新到磁盤上,而只刷新到操作系統的緩存上。日誌仍然會每秒刷新到磁盤中去,因此通常不會丟失每秒1-2次更新的消耗。如果設置 爲0就快很多了,不過也相對不安全了 — MySQL服務器崩潰時就會丟失一些事務。設置爲2指揮丟失刷新到操作系統緩存的那部分事務。

max_allowed_packet = 4M
thread_stack = 256K
table_cache = 128K
sort_buffer_size = 6M
#查詢排序時所能使用的緩衝區大小。注意:該參數對應的分配內存是每連接獨佔!如果有100個連接,那麼實際分配的總共排序緩衝區大小爲100 × 6 = 600MB。所以,對於內存在4GB左右的服務器推薦設置爲6-8M。

read_buffer_size = 4M
#讀查詢操作所能使用的緩衝區大小。和sort_buffer_size一樣,該參數對應的分配內存也是每連接獨享!

join_buffer_size = 8M
#聯合查詢操作所能使用的緩衝區大小,和sort_buffer_size一樣,該參數對應的分配內存也是每連接獨享!

myisam_sort_buffer_size = 64M
table_cache = 512
#打開一個表的開銷可能很大。例如MyISAM把MYI文件頭標誌該表正在使用中。你肯定不希望這種操作太頻繁,所以通常要加大緩存數量,使得足以最大限 度地緩存打開的表。它需要用到操作系統的資源以及內存,對當前的硬件配置來說當然不是什麼問題了。如果你有200多個表的話,那麼設置爲 1024 也許比較合適(每個線程都需要打開表),如果連接數比較大那麼就加大它的值。我曾經見過設置爲100,000的情況。

thread_cache_size = 64
#線程的創建和銷燬的開銷可能很大,因爲每個線程的連接/斷開都需要。我通常至少設置爲 16。如果應用程序中有大量的跳躍併發連接並且 Threads_Created 的值也比較大,那麼我就會加大它的值。它的目的是在通常的操作中無需創建新線程。

query_cache_size = 64M
#指定MySQL查詢緩衝區的大小。可以通過在MySQL控制檯執行以下命令觀察:

# > SHOW VARIABLES LIKE ‘%query_cache%’;
# > SHOW STATUS LIKE ‘Qcache%’;
# 如果Qcache_lowmem_prunes的值非常大,則表明經常出現緩衝不夠的情況;如果Qcache_hits的值非常大,則表明查詢緩衝使用非 常頻繁,如果該值較小反而會影響效率,那麼可以考慮不用查詢緩衝;Qcache_free_blocks,如果該值非常大,則表明緩衝區中碎片很多。

tmp_table_size = 256M
max_connections = 768
#指定MySQL允許的最大連接進程數。如果在訪問論壇時經常出現Too Many Connections的錯誤提 示,則需要增大該參數值。

max_connect_errors = 10000000
wait_timeout = 10
#指定一個請求的最大連接時間,對於4GB左右內存的服務器可以設置爲5-10。

thread_concurrency = 8
#該參數取值爲服務器邏輯CPU數量×2,在本例中,服務器有2顆物理CPU,而每顆物理CPU又支持H.T超線程,所以實際取值爲4 × 2 = 8

skip-networking
#開啓該選項可以徹底關閉MySQL的TCP/IP連接方式,如果WEB服務器是以遠程連接的方式訪問MySQL數據庫服務器則不要開啓該選項!否則將無法正常連接!

show status 命令
含義如下:
aborted_clients 客戶端非法中斷連接次數
aborted_connects 連接mysql失敗次數
com_xxx xxx命令執行次數,有很多條
connections 連接mysql的數量
Created_tmp_disk_tables 在磁盤上創建的臨時表
Created_tmp_tables 在內存裏創建的臨時表
Created_tmp_files 臨時文件數
Key_read_requests The number of requests to read a key block from the cache
Key_reads The number of physical reads of a key block from disk
Max_used_connections 同時使用的連接數
Open_tables 開放的表
Open_files 開放的文件
Opened_tables 打開的表
Questions 提交到server的查詢數
Sort_merge_passes 如果這個值很大,應該增加my.cnf中的sort_buffer值
Uptime 服務器已經工作的秒數

提升性能的建議:
1.如果opened_tables太大,應該把my.cnf中的table_cache變大
2.如果Key_reads太大,則應該把my.cnf中key_buffer_size變大.可以用Key_reads/Key_read_requests計算出cache失敗率
3.如果Handler_read_rnd太大,則你寫的SQL語句裏很多查詢都是要掃描整個表,而沒有發揮索引的鍵的作用
4.如果Threads_created太大,就要增加my.cnf中thread_cache_size的值.可以用Threads_created/Connections計算cache命中率
5.如果Created_tmp_disk_tables太大,就要增加my.cnf中tmp_table_size的值,用基於內存的臨時表代替基於磁盤的


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章