Sql性能優化看這一篇就夠了

前言:

一個優秀開發的必備技能:性能優化,包括:JVM調優、緩存、Sql性能優化等。本文主要講基於Mysql的索引優化。
首先我們需要了解執行一條查詢SQL時Mysql的處理過程:

其次我們需要知道,我們寫的SQL在Mysql的執行順序是怎麼樣的?sql的執行順序對sql的性能優化很有幫助,很重要。在建立複合索引的時候需要考慮到這點。

例:

在tb_dept中建立一個複合索引 idx_parent_id_code:

 然後看下兩個sql 解釋的結果:

1)在當前索引下,哪一個sql索引利用率高?

藉助於上文中查詢SQL的執行順序,是先執行 WHERE再執行 GROUP BY 的,即:

第一個sql執行的順序是先執行了 where後的 school_id 然後執行了 group by 後的 grade_id,順序是和索引的順序是一致的,type等級爲ref,掃描行數rows爲 4;

而第二個sql是先執行了 where後的 grade_id 然後執行了 group by 後的 school_id,順序是和索引的順序是不一致的,type等級爲index,掃描行數rows爲 19;

從解釋結果看,第一條的sql索引利用率高於第二條的。(後文會講到:索引type從優到差:System-->const-->eq_ref-->ref-->ref_or_null-->index_merge-->unique_subquery-->index_subquery-->range-->index-->all.)

或者從掃描的行數rows對比數據源也可直觀的看出,兩個語句的性能:

2)怎麼優化?

如果業務中用到第二個sql,那麼就需要調整索引的順序和sql執行順序一致。

或者兩個sql都用到了,那麼就再建一個複合索引 (idx_code_parent_id)

然後再看下第二條的執行計劃:

執行計劃分析(下面就是本文的重點內容了):

通過explain可以知道mysql是如何處理語句的,並分析出查詢或是表結構的性能瓶頸,其實就是在幹查詢優化器的事,通過expalin可以得到:

1. 表的讀取順序
2.表的讀取操作的操作類型
3.哪些索引可以使用
4. 哪些索引被實際使用
5.表之間的引用
6.每張表有多少行被優化器查詢

從上文的例子中我們可以看到執行explain時,結果會有一個表格,這個表格就是分析結果,下面我們來一個一個說明下這個表的表頭:

Id:  MySQL QueryOptimizer 選定的執行計劃中查詢的序列號。表示查詢中執行select 子句或操作表的順序,id 值越大優先級越高,越先被執行。id 相同,執行順序由上至下。

Select_type: 一共有9中類型,只介紹常用的4種:

SIMPLE: 簡單的 select 查詢,不使用 union 及子查詢

PRIMARY: 最外層的 select 查詢

UNION: UNION 中的第二個或隨後的 select 查詢,不 依賴於外部查詢的結果集

DERIVED: 用於 from 子句裏有子查詢的情況。 MySQL 會 遞歸執行這些子查詢, 把結果放在臨時表裏。

Table:  輸出行所引用的表

Type:  從優到差的順序如下:(紅色標識的是常見的級別。)

system-->const-->eq_ref-->ref-->ref_or_null-->index_merge-->unique_subquery-->index_subquery-->range-->index-->all.

各自的含義如下:

system:  表僅有一行。這是 const 連接類型的一個特例。

const:  const 用於用常數值比較 PRIMARY KEY 時。

eq_ref: 查詢使用了索引爲主鍵或唯一鍵的全部時使用。即:通過索引關鍵字可能查找到一個符合條件的行。

ref:  通過索引關鍵字可能查找到多個符合條件的行。

ref_or_null:  如同 ref, 但是 MySQL 必須在初次查找的結果裏找出 null 條目,然後進行二次查找。

index_merge: 說明索引合併優化被使用了。

unique_subquery:  在某些 IN 查詢中使用此種類型,而不是常規的 ref:valueIN (SELECT primary_key FROM single_table WHERE some_expr)

index_subquery:  在 某 些 IN 查 詢 中 使 用 此 種 類 型 , 與unique_subquery 類似,但是查詢的是非唯一 性索引

range:  檢索給定範圍的行。當使用 <>、>、>=、<、<=、BETWEEN 或者 IN 操作符時,會使用到range。

index:  全表掃描,只是掃描表的時候按照索引次序進行而不是行。主要優點就是避免了排序, 但是開銷仍然非常大。

all: 最壞的情況,從頭到尾全表掃描。

possible_keys :  哪些索引可能有助於查詢。如果爲空,說明沒有可用的索引。

key:  實際從 possible_key 選擇使用的索引,如果爲 NULL,則沒有使用索引。很少的情況 下,MYSQL 會選擇優化不足的索引。這種情 況下,可以在 SELECT語句中使用 USE INDEX (indexname)來強制使用一個索引或者用IGNORE INDEX(indexname)來強制 MYSQL 忽略索引

key_len:  使用的索引的長度。在不損失精確性的情況 下,長度越短越好。

ref:  顯示索引的哪一列被使用了 

rows:   請求數據返回的大概行數

extra:  其他信息,出現Using filesort、Using temporary 意味着不能使用索引,效率會受到重大影響。應儘可能對此進行優化。

Using filesort: 沒有辦法利用現有索引進行排序,需要額外排序,建議:根據排序需要,創建相應合適的索引

Using temporary: 需要用臨時表存儲結果集,通常是因爲group by的列列上沒有索引。也有可能是因爲同
時有group by和order by,但group by和order by的列又不一樣 

Using index : 利用覆蓋索引,無需回表即可取得結果數據(即數據直接從索引文件中讀取),這種結果是好的。

其中重要的幾個就是 key、type 、rows、extra,其中key爲null、all 、index時,需要調整、優化索引。一般需要達到 ref、eq_ref 級別,範圍查找需要達到 range,extra有Using filesort、Using temporary 的一定需要優化,根據rows可以直觀看出優化結果。

優化手段:

① SQL優化

  • 避免 SELECT *,只查詢需要的字段。
  • 小表驅動大表,即小的數據集驅動大的數據集:
    當B表的數據集比A表小時,用in優化 exist兩表執行順序是先查B表再查A表查詢語句:SELECT * FROM tb_dept WHERE id in (SELECT id FROM tb_dept) ;
    當A表的數據集比B表小時,用exist優化in ,兩表執行順序是先查A表,再查B表,查詢語句:SELECT * FROM A WHERE EXISTS (SELECT id FROM B WHERE A.id = B.ID) ;
  • 儘量使用連接代替子查詢,因爲使用 join 時,MySQL 不會在內存中創建臨時表。

② 優化索引的使用

  • 儘量使用主鍵查詢,而非其他索引,因爲主鍵查詢不會觸發回表查詢。
  • 不做列運算,把計算都放入各個業務系統實現
  • 查詢語句儘可能簡單,大語句拆小語句,減少鎖時間
  • or 查詢改寫成 union 查詢
  • 不用函數和觸發器
  • 避免 %xx 查詢,可以使用:select * from t where reverse(f) like reverse('%abc');
  • 少用 join 查詢
  • 使用同類型比較,比如 '123' 和 '123'、123 和 123
  • 儘量避免在 where 子句中使用 != 或者 <> 操作符,查詢引用會放棄索引而進行全表掃描
  • 列表數據使用分頁查詢,每頁數據量不要太大
  • 避免在索引列上使用 is null 和 is not null

③ 表結構設計優化

  • 使用可以存下數據最小的數據類型。
  • 儘量使用 tinyint、smallint、mediumint 作爲整數類型而非 int。
  • 儘可能使用 not null 定義字段,因爲 null 佔用 4 字節空間。數字可以默認 0 ,字符串默認 “”
  • 儘量少用 text 類型,非用不可時最好獨立出一張表。
  • 儘量使用 timestamp,而非 datetime。
  • 單表不要有太多字段,建議在 20 個字段以內。

Mysql常用數據類型存儲大小及範圍:https://blog.csdn.net/HXNLYW/article/details/100104768


3.如果以上優化還是有問題,可以使用show profiles 分析sql 性能

show profiles  

show profile for query  [queryId]

具體請查看:https://blog.csdn.net/aeolus_pu/article/details/7818498

結尾:

    本文是最近學習Mysql索引優化的一些總結和記錄,如有不對的地方,歡迎評論吐槽。


附:

索引相關知識:

———— 查看錶索引:
show index from 【table】

———— 直接創建索引
CREATE INDEX indexName ON table(column(length))

———— 修改表結構的方式添加索引
ALTER tableADD INDEX indexName ON (column(length))
---主鍵索引
ALTER  TABLE  `table_name`  ADD  PRIMARY  KEY (  `column`  ) 
---唯一索引
ALTER  TABLE  `table_name`  ADD  UNIQUE (`column` ) 
---普通索引
ALTER  TABLE  `table_name`  ADD  INDEX index_name (  `column`(length)  )
---複合索引 
ALTER  TABLE  `table_name`  ADD  INDEX index_name (  `column1`,  `column2`,  `column3`  )

length的確定:
如果索引列長度過長,這種列索引時將會產生很大的索引文件,不便於操作,可以使用前綴索引方式進行索引,前綴索引應該控制在一個合適的點,控制在0.31黃金值即可(大於這個值就可以創建)。
SELECT COUNT(DISTINCT(LEFT(`title`,10)))/COUNT(*) FROM Arctic; -- 這個值大於0.31就可以創建前綴索引,Distinct去重複

———— 刪除索引:
1)ALTER TABLE table_name DROP INDEX index_name
2)DROP INDEX index_name ON table_name;

MyISAM 和 InnoBD區別:

  

  
  MyISAM

  
  InnoDB

  
主鍵

允許沒有任何索引和主鍵的表存在,

myisam的索引都是保存行的地址。

如果沒有設定主鍵或者非空唯一索引,就會自動生成一個6字節的主鍵(用戶不可見)

innodb的數據是主索引的一部分,其他索引保存的是主索引的值。

  事務處理上方面:

  
  MyISAM類型的表強調的是性能,其執行數度比InnoDB類型更快,但是不提供事務支持、不支持外鍵   InnoDB提供事務支持事務,外部鍵(foreign key)等高級數據庫功能

  
  DML操作
  
  如果執行大量的SELECT,MyISAM是更好的選擇

  
  1.如果你的數據執行大量的INSERTUPDATE,出於性能方面的考慮,應該使用InnoDB表
  2.DELETE   FROM table時,InnoDB不會重新建立表,而是一行一行的刪除。
自動增長

  
  

  myisam引擎的自動增長列必須是索引,如果是組合索引,自動增長可以不是第一列,他可以根據前面幾列進行排序後遞增。

innodb引擎的自動增長必須是索引,如果是組合索引也必須是組合索引的第一列。
count()函數 myisam保存有表的總行數,如果select count(*) from table;會直接取出出該值 innodb沒有保存表的總行數,如果使用select count(*) from table;就會遍歷整個表,消耗相當大,但是在加了wehre       條件後,myisam和innodb處理的方式都一樣。
  
  
  表鎖

  
  提供行鎖,另外,InnoDB表的行鎖也不是絕對的,如果在執行一個SQL語句時MySQL不能確定要掃描的範圍,InnoDB表同樣會鎖全表, 例如update table set num=1 where name like "%aaa%"

mysql相關配置參數優化:

• sort-buffer-size/join-buffer-size / read-rnd-buffer-size,4~8MB爲宜
• optimizer_switch=“index_condition_pushdown=on,mrr=on,mrr_cost
_based=off,batched_key_access=on”
• tmp-table-size = max-heap-table-size,100MB左右爲宜
• log-queries-not-using-indexes & log_throttle_queries_not_using_indexes

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章