史上最全的MySQL全面優化實戰總結!

90264a993a1c492e8e7e3bc4ed3f5be2


1.1 前言

MySQL對於很多Linux從業者而言,是一個非常棘手的問題,多數情況都是因爲對數據庫出現問題的情況和處理思路不清晰。在進行MySQL的優化之前必須要了解的就是MySQL的查詢過程,很多的查詢優化工作實際上就是遵循一些原則讓MySQL的優化器能夠按照預想的合理方式運行而已。

今天給大家體驗MySQL的優化實戰,助你高薪之路順暢。

6120360e10a24a4182db1e64c1a879f6

圖 - MySQL查詢過程

x1.2 優化的哲學

優化有風險,涉足需謹慎

1.2.1 優化可能帶來的問題

9b6db3a151df4179a19d3a7a88cfe301


1.2.2 優化的需求

24d1761de0ba42e5b83005207cccc524


1.2.3 優化由誰參與

在進行數據庫優化時,應由數據庫管理員、業務部門代表、應用程序架構師、應用程序設計人員、應用程序開發人員、硬件及系統管理員、存儲管理員等,業務相關人員共同參與。

1.3 優化思路

1.3.1 優化什麼

在數據庫優化上有兩個主要方面:即安全與性能。

a0da016f7ce74ae888d4236b48fbb98a


1.3.2 優化的範圍有哪些

存儲、主機和操作系統方面:

d3413119c4284b9f8b8815859d2881ac


應用程序方面:

5147de5021c143fd9636506ddc567a91


數據庫優化方面:

279222e7d7ed4d4cb232982a526d8e1c


說明:不管是在,設計系統,定位問題還是優化,都可以按照這個順序執行。

1.3.3 優化維度

數據庫優化維度有四個:

硬件、系統配置、數據庫表結構、SQL及索引

18d2e21792f54363be255aa1c8ad28af


優化選擇

a8d8b787429844a19ec7b38ba5595b37


1.4 優化工具有啥?

1.4.1 數據庫層面

檢查問題常用工具

13d41b0bdeff4cee95bda9e25b1309a9


不常用但好用的工具

5b3896f26fe64510840434f98482455c


1.4.2 數據庫層面問題解決思路

一般應急調優的思路:

針對突然的業務辦理卡頓,無法進行正常的業務處理!需要立馬解決的場景!

295552adbbb746d4b934c3a14c7cfbac


常規調優思路:

針對業務週期性的卡頓,例如在每天10-11點業務特別慢,但是還能夠使用,過了這段時間就好了。

91d38658de264bde8acca28c202fcf93


1.4.3 系統層面

cpu方面

vmstat、sar top、htop、nmon、mpstat

內存

free、ps -aux 、

IO設備(磁盤、網絡)

iostat、 ss 、 netstat 、 iptraf、iftop、lsof、

vmstat 命令說明:

65fddb4d17d24dbea3e4bf1cd06fb822


iostat命令說明

實例命令: iostat -dk 1 5

iostat -d -k -x 5 (查看設備使用率(%util)和響應時間(await))

223ebfb2c42542119acafe63ff7b91d0


1.4.4 系統層面問題解決辦法

你認爲到底負載高好,還是低好呢?

在實際的生產中,一般認爲 cpu只要不超過90%都沒什麼問題 。

當然不排除下面這些特殊情況:

問題一:cpu負載高,IO負載低

00d41fc41521477eb248078a88bf2a0c


問題二:IO負載高,cpu負載低

608c4016b23e45f88027dc82baab0b28


問題三:IO和cpu負載都很高

硬件不夠了或sql存在問題

1.5 基礎優化

1.5.1 優化思路

定位問題點:

硬件 --> 系統 --> 應用 --> 數據庫 --> 架構(高可用、讀寫分離、分庫分表)

處理方向

明確優化目標、性能和安全的折中、防患未然

1.5.2 硬件優化

主機方面:

0c499fdd4c134fbba7b6c4ea9a8ce62b


cpu的選擇:

dce3dca3269f4ad8bd98b40b84440719


內存的選擇:

375739c3808e495b8a0c2f733eabbacb


存儲方面:

e03354c1593c43a2a133e76a2f192c31


raid卡:主機raid卡選擇:

9986a31cbb7844f8aa9285050b34f1e8


網絡設備方面:

使用流量支持更高的網絡設備(交換機、路由器、網線、網卡、HBA卡)

注意:以上這些規劃應該在初始設計系統時就應該考慮好。

1.5.3 服務器硬件優化

7931225098d14e5a9546cca76e1cb7db


1.5.4 系統優化

Cpu:

基本不需要調整,在硬件選擇方面下功夫即可。

內存:

基本不需要調整,在硬件選擇方面下功夫即可。

SWAP:

MySQL儘量避免使用swap。阿里雲的服務器中默認swap爲0

IO :

0c2a3a6bb74441aab2c71cb1e406a5ca


527c131f7e7d41d6bf650bc5b9adfc24


這個參數決定了Linux是傾向於使用swap,還是傾向於釋放文件系統cache。在內存緊張的情況下,數值越低越傾向於釋放文件系統cache。當然,這個參數只能減少使用swap的概率,並不能避免Linux使用swap。

修改MySQL的配置參數innodb_flush_method,開啓O_DIRECT模式。這種情況下,InnoDB的buffer pool會直接繞過文件系統cache來訪問磁盤,但是redo log依舊會使用文件系統cache。值得注意的是,Redo log是覆寫模式的,即使使用了文件系統的cache,也不會佔用太多

IO調度策略

925e0260cb7a4845b0084ad2e058e8f1


1.5.5 系統參數調整

Linux系統內核參數優化

47f4d5244f324d86ab97fba317fb16b8


用戶限制參數(mysql可以不設置以下配置)

46395aa6d347485bb4fea6944885e480


1.5.6 應用優化

業務應用和數據庫應用獨立,防火牆:iptables、selinux等其他無用服務(關閉):

b0d5f669f08b4e358a788d3dafcfc8d3


安裝圖形界面的服務器不要啓動圖形界面 runlevel 3,另外,思考將來我們的業務是否真的需要MySQL,還是使用其他種類的數據庫。用數據庫的最高境界就是不用數據庫。

1.6 數據庫優化

SQL優化方向:

執行計劃、索引、SQL改寫

架構優化方向:

高可用架構、高性能架構、分庫分表

1.6.1 數據庫參數優化

調整:

實例整體(高級優化,擴展)

192019d9d935456e8f45e54cf175a53f


連接層(基礎優化)

設置合理的連接客戶和連接方式

d5e0abdf42bd491792b0db570bfcefdc


SQL層(基礎優化)

query_cache_size: 查詢緩存

OLAP類型數據庫,需要重點加大此內存緩存.

但是一般不會超過GB.

對於經常被修改的數據,緩存會立馬失效。

我們可以實用內存數據庫(redis、memecache),替代他的功能。

1.6.2 存儲引擎層(innodb基礎優化參數)

243db965d60446acaaaa78bbbb644a86


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章