MySQL架構

數據庫某種意義上這樣定義：物理操作系統或者其他形式文件類型的集合；

在 MySQL 中，實例和數據庫往往都是一一對應的，而我們也無法直接操作數據庫，而是要通過數據庫實例來操作數據庫文件，可以理解爲數據庫實例是數據庫爲上層提供的一個專門用於操作的接口。

在 Linux上，啓動一個 MySQL 實例往往會產生兩個進程，mysqld 就是真正的數據庫服務守護進程，而 mysqld_safe 是一個用於檢查和設置 mysqld 啓動的控制程序，它負責監控 MySQL 進程的執行，當 mysqld 發生錯誤時，mysqld_safe 會對其狀態進行檢查並在合適的條件下重啓。

下圖爲MySQL的架構：

MySQL重點知識

接下來，南國逐次講解在MySQL中比較重要的知識點：

MySQL的存儲引擎

InnoDB

InnoDB是 MySQL 默認的事務型存儲引擎，只有在需要它不支持的特性時，才考慮使用其它存儲引擎。

實現了四個標準的隔離級別，默認級別是可重複讀（REPEATABLE READ）。在可重複讀隔離級別下，通過多版本併發控制（MVCC）+ 間隙鎖（Next-Key Locking）防止幻影讀。

主索引是聚簇索引，在索引中保存了數據，從而避免直接讀取磁盤，因此對查詢性能有很大的提升。

內部做了很多優化，包括從磁盤讀取數據時採用的可預測性讀、能夠加快讀操作並且自動創建的自適應哈希索引、能夠加速插入操作的插入緩衝區等。

支持真正的在線熱備份。其它存儲引擎不支持在線熱備份，要獲取一致性視圖需要停止對所有表的寫入，而在讀寫混合場景中，停止寫入可能也意味着停止讀取。

MyISAM

設計簡單，數據以緊密格式存儲。對於只讀數據，或者表比較小、可以容忍修復操作，則依然可以使用它。

提供了大量的特性，包括壓縮表、空間數據索引等。

不支持事務。

不支持行級鎖，只能對整張表加鎖，讀取時會對需要讀到的所有表加共享鎖，寫入時則對錶加排它鎖。但在表有讀取操作的同時，也可以往表中插入新的記錄，這被稱爲併發插入（CONCURRENT INSERT）。

可以手工或者自動執行檢查和修復操作，但是和事務恢復以及崩潰恢復不同，可能導致一些數據丟失，而且修復操作是非常慢的。

如果指定了 DELAY_KEY_WRITE 選項，在每次修改執行完成時，不會立即將修改的索引數據寫入磁盤，而是會寫到內存中的鍵緩衝區，只有在清理鍵緩衝區或者關閉表的時候纔會將對應的索引塊寫入磁盤。這種方式可以極大的提升寫入性能，但是在數據庫或者主機崩潰時會造成索引損壞，需要執行修復操作。

InnoDB和MyISAM是MySQL中常用的兩種存儲引擎，這裏我們對這二者做一個比較：

事務：InnoDB是事務型的，可以使用Commit和Rollback語句。MyISAM不支持。對於InnoDB，每一條SQL語句都默認封裝成事務，自動提交，這樣會提交速度，所以最好把多條SQL語句begin和commit之間，主城一個事務。
併發：MyISAM只支持表級鎖，而InnoDB還支持行級鎖。
外鍵：InnoDB支持外鍵，而MyISAM不支持。對一個包含外鍵的InnoDB錶轉爲MyISAM會失敗。
備份：InnoDB支持在線熱備份。
崩潰恢復：MyISAM崩潰後發生損壞的概率比InnoDB高很多，而且恢復的速度也更慢。
InnoDB是聚集索引，數據文件是和索引綁在一起的，必須要有主鍵，通過主鍵索引效率很高。但是輔助索引需要兩次查詢，先查詢到主鍵，然後再通過主鍵查詢到數據。因此，主鍵不應該過大，因爲主鍵太大，其他索引也都會很大。而MyISAM是非聚集索引，數據文件是分離的，索引保存的是數據文件的指針。主鍵索引和輔助索引是獨立的。
InnoDB不保存表的具體行數，執行select count(*) from table時需要全表掃描。而MyISAM用一個變量保存了整個表的行數，執行上述語句時只需要讀出該變量即可，速度很快；
InnoDB不支持全文索引，而MyISAM支持全文索引，查詢效率上MyISAM要高；
其他特性：MyISAM支持壓縮表和空間數據索引。

索引

索引是數據庫中非常非常重要的概念，它是存儲引擎能夠快速定位記錄的祕密武器，對於提升數據庫的性能、減輕數據庫服務器的負擔有着非常重要的作用；索引優化是對查詢性能優化的最有效手段，它能夠輕鬆地將查詢的性能提高几個數量級。

爲什麼使用數據索引能提高效率？

數據索引的存儲是有序的
在有序的情況下，通過索引查詢一個數據是無需遍歷索引記錄的
極端情況下，數據索引的查詢效率爲二分法查詢效率，趨近於 log2(N)

關於索引這一節，首先我們需要先介紹一種在MySQL常用的數據結構：B+樹

B樹和B+樹

B Tree 指的是 Balance Tree，也就是平衡樹。平衡樹是一顆查找樹，並且所有葉子節點位於同一層。

B+ Tree 是基於 B Tree 和葉子節點順序訪問指針進行實現，它具有 B Tree 的平衡性，並且通過順序訪問指針來提高區間查詢的性能。

在 B+ Tree 中，一個節點中的 key 從左到右非遞減排列，如果某個指針的左右相鄰 key 分別是 keyi 和 keyi+1，且不爲 null，則該指針指向節點的所有 key 大於等於 keyi 且小於等於 keyi+1。
另外還有B+樹和紅黑樹的比較：
紅黑樹等平衡樹也可以用來實現索引，但是文件系統及數據庫系統普遍採用 B+ Tree 作爲索引結構，主要有以下兩個原因：

1.更少的查找次數
平衡樹查找操作的時間複雜度和樹高 h 相關，O(h)=O(logdN)，其中 d 爲每個節點的出度。
紅黑樹的出度爲 2，而 B+ Tree 的出度一般都非常大，所以紅黑樹的樹高 h 很明顯比 B+ Tree 大非常多，查找的次數也就更多。

2.利用磁盤預讀特性
爲了減少磁盤 I/O 操作，磁盤往往不是嚴格按需讀取，而是每次都會預讀。預讀過程中，磁盤進行順序讀取，順序讀取不需要進行磁盤尋道，並且只需要很短的旋轉時間，速度會非常快。

操作系統一般將內存和磁盤分割成固定大小的塊，每一塊稱爲一頁，內存與磁盤以頁爲單位交換數據。數據庫系統將索引的一個節點的大小設置爲頁的大小，使得一次 I/O 就能完全載入一個節點。並且可以利用預讀特性，相鄰的節點也能夠被預先載入。

MySQL索引

索引是在存儲引擎層實現的，而不是在服務器層實現的，所以不同存儲引擎具有不同的索引類型和實現。

1. B+Tree 索引
B+Tree 索引是大多數 MySQL 存儲引擎的默認索引類型。

因爲不再需要進行全表掃描，只需要對樹進行搜索即可，所以查找速度快很多。

除了用於查找，還可以用於排序和分組。

可以指定多個列作爲索引列，多個索引列共同組成鍵。

適用於全鍵值、鍵值範圍和鍵前綴查找，其中鍵前綴查找只適用於最左前綴查找。如果不是按照索引列的順序進行查找，則無法使用索引。

InnoDB 的 B+Tree 索引分爲主索引和輔助索引。它們之間的最大區別就是，聚集索引中存放着一條行記錄的全部信息，而輔助索引中只包含索引列和一個用於查找對應行記錄的『書籤』。

1.1主索引(聚集索引)
主索引的葉子節點 data 域記錄着完整的數據記錄，這種索引方式被稱爲聚簇索引。因爲無法把數據行存放在兩個不同的地方，所以一個表只能有一個聚集索引。

聚集索引是索引項的排序方式和表中數據排序方式一致的索引，這是什麼意思呢？我們把一本字典看做是數據庫的表，那麼字典的拼音目錄就是聚集索引，它按照A-Z排列。實際存儲的字也是按A-Z排列的。這就是索引項的排序方式和表中數據記錄排序方式一致。

對於Innodb，主鍵毫無疑問是一個聚集索引。但是當一個表沒有主鍵，或者沒有一個索引，Innodb會如何處理呢。請看如下規則:
1.如果一個主鍵被定義了，那麼這個主鍵就是作爲聚集索引。
2.如果沒有主鍵被定義，那麼該表的第一個唯一非空索引被作爲聚集索引。
3.如果沒有主鍵也沒有合適的唯一索引，那麼innodb內部會生成一個隱藏的主鍵作爲聚集索引，這個隱藏的主鍵是一個6個字節的列，該列的值會隨着數據的插入自增。

1.2 輔助索引
輔助索引的葉子節點的 data 域記錄着主鍵的值，因此在使用輔助索引進行查找時，需要先查找到主鍵值，然後再到主索引中進行查找。

輔助索引：輔助索引中索引的邏輯順序與磁盤上行的物理存儲順序不同，一個表中可以擁有多個非聚集索引。葉子節點並不包含行記錄的全部數據。葉子節點除了包含鍵值以外，還存儲了一個指向改行數據的聚集索引建的書籤。

輔助索引可以理解成字典按偏旁去查字。

輔助索引的存在並不會影響聚集索引，因爲聚集索引構成的 B+ 樹是數據實際存儲的形式，而輔助索引只用於加速數據的查找，所以一張表上往往有多個輔助索引以此來提升數據庫的性能。

一張表一定包含一個聚集索引構成的 B+ 樹以及若干輔助索引的構成的 B+ 樹。

通過輔助索引查找到對應的主鍵，最後在聚集索引中使用主鍵獲取對應的行記錄，這也是通常情況下行記錄的查找方式。

2. 哈希索引
哈希索引的優勢：

等值查詢。哈希索引具有絕對優勢（前提是：沒有大量重複鍵值，如果大量重複鍵值時，哈希索引的效率很低，因爲存在所謂的哈希碰撞問題。）

哈希索引能以 O(1) 時間進行查找，但是失去了有序性：

無法用於排序與分組；
只支持精確查找，無法用於部分查找和範圍查找。

InnoDB 存儲引擎有一個特殊的功能叫“自適應哈希索引”，當某個索引值被使用的非常頻繁時，會在 B+Tree 索引之上再創建一個哈希索引，這樣就讓 B+Tree 索引具有哈希索引的一些優點，比如快速的哈希查找。

3. 全文索引
MyISAM 存儲引擎支持全文索引，用於查找文本中的關鍵詞，而不是直接比較是否相等。

查找條件使用 MATCH AGAINST，而不是普通的 WHERE。

全文索引使用倒排索引實現，它記錄着關鍵詞到其所在文檔的映射。

InnoDB 存儲引擎在 MySQL 5.6.4 版本中也開始支持全文索引。

4. 空間數據索引
MyISAM 存儲引擎支持空間數據索引（R-Tree），可以用於地理數據存儲。空間數據索引會從所有維度來索引數據，可以有效地使用任意維度來進行組合查詢。

必須使用 GIS 相關的函數來維護數據。

索引優化

1. 獨立的列
在進行查詢時，索引列不能是表達式的一部分，也不能是函數的參數，否則無法使用索引。

例如下面的查詢不能使用 actor_id 列的索引：
SELECT actor_id FROM sakila.actor WHERE actor_id + 1 = 5;

2. 多列索引
在需要使用多個列作爲條件進行查詢時，使用多列索引比使用多個單列索引性能更好。例如下面的語句中，最好把 actor_id 和 film_id 設置爲多列索引。

SELECT film_id, actor_ id FROM sakila.film_actor
WHERE actor_id = 1 AND film_id = 1;

3. 索引列的順序
讓選擇性最強的索引列放在前面。

索引的選擇性是指：不重複的索引值和記錄總數的比值。最大值爲 1，此時每個記錄都有唯一的索引與其對應。選擇性越高，查詢效率也越高。

例如下面顯示的結果中 customer_id 的選擇性比 staff_id 更高，因此最好把 customer_id 列放在多列索引的前面。

SELECT COUNT(DISTINCT staff_id)/COUNT(*) AS staff_id_selectivity,
COUNT(DISTINCT customer_id)/COUNT(*) AS customer_id_selectivity,
COUNT(*)
FROM payment;

staff_id_selectivity: 0.0001
customer_id_selectivity: 0.0373
               COUNT(*): 16049

4. 前綴索引
對於 BLOB、TEXT 和 VARCHAR 類型的列，必須使用前綴索引，只索引開始的部分字符。

對於前綴長度的選取需要根據索引選擇性來確定。

5. 覆蓋索引
索引包含所有需要查詢的字段的值。

具有以下優點：

索引通常遠小於數據行的大小，只讀取索引能大大減少數據訪問量。
一些存儲引擎（例如 MyISAM）在內存中只緩存索引，而數據依賴於操作系統來緩存。因此，只訪問索引可以不使用系統調用（通常比較費時）。
對於 InnoDB 引擎，若輔助索引能夠覆蓋查詢，則無需訪問主索引。

索引的優點

大大減少了服務器需要掃描的數據行數。
幫助服務器避免進行排序和分組，以及避免創建臨時表（B+Tree 索引是有序的，可以用於 ORDER BY 和 GROUP BY 操作。臨時表主要是在排序和分組過程中創建，因爲不需要排序和分組，也就不需要創建臨時表）。
將隨機 I/O 變爲順序 I/O（B+Tree 索引是有序的，會將相鄰的數據都存儲在一起）。

索引的使用條件

對於非常小的表、大部分情況下簡單的全表掃描比建立索引更高效；在經常插入、刪除、修改的表也不用建立索引；
對於中到大型的表，索引就非常有效；
但是對於特大型的表，建立和維護索引的代價將會隨之增長。這種情況下，需要用到一種技術可以直接區分出需要查詢的一組數據，而不是一條記錄一條記錄地匹配，例如可以使用分區技術。

查詢性能優化

在SQL中，查詢是我們最常用的功能了。所以關於在數據庫中，查詢性能優化在企業應用中顯得十分重要。這裏做如下總結：

1.使用 Explain 進行分析

Explain 用來分析 SELECT 查詢語句，開發人員可以通過分析 Explain 結果來優化查詢語句。

比較重要的字段有：

select_type : 查詢類型，有簡單查詢、聯合查詢、子查詢等
key : 使用的索引
rows : 掃描的行數

2.優化數據訪問

1. 減少請求的數據量
只返回必要的列：最好不要使用 SELECT * 語句。
只返回必要的行：使用 LIMIT 語句來限制返回的數據。
緩存重複查詢的數據：使用緩存可以避免在數據庫中進行查詢，特別在要查詢的數據經常被重複查詢時，緩存帶來的查詢性能提升將會是非常明顯的。

2. 減少服務器端掃描的行數
最有效的方式是使用索引來覆蓋查詢。

3.重構查詢方式

1. 切分大查詢
一個大查詢如果一次性執行的話，可能一次鎖住很多數據、佔滿整個事務日誌、耗盡系統資源、阻塞很多小的但重要的查詢。

DELETE FROM messages WHERE create < DATE_SUB(NOW(), INTERVAL 3 MONTH);
rows_affected = 0
do {
    rows_affected = do_query(
    "DELETE FROM messages WHERE create  < DATE_SUB(NOW(), INTERVAL 3 MONTH) LIMIT 10000")
} while rows_affected > 0

2. 分解大連接查詢
將一個大連接查詢分解成對每一個表進行一次單表查詢，然後在應用程序中進行關聯，這樣做的好處有：

讓緩存更高效。對於連接查詢，如果其中一個表發生變化，那麼整個查詢緩存就無法使用。而分解後的多個查詢，即使其中一個表發生變化，對其它表的查詢緩存依然可以使用。
分解成多個單表查詢，這些單表查詢的緩存結果更可能被其它查詢使用到，從而減少冗餘記錄的查詢。
減少鎖競爭；
在應用層進行連接，可以更容易對數據庫進行拆分，從而更容易做到高性能和可伸縮。
查詢本身效率也可能會有所提升。例如下面的例子中，使用 IN() 代替連接查詢，可以讓 MySQL 按照 ID 順序進行查詢，這可能比隨機的連接要更高效。

SELECT * FROM tab
JOIN tag_post ON tag_post.tag_id=tag.id
JOIN post ON tag_post.post_id=post.id
WHERE tag.tag='mysql';
SELECT * FROM tag WHERE tag='mysql';
SELECT * FROM tag_post WHERE tag_id=1234;
SELECT * FROM post WHERE post.id IN (123,456,567,9098,8904);

數據類型

1.整型
TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT 分別使用 8, 16, 24, 32, 64 位存儲空間，一般情況下越小的列越好。

INT(11) 中的數字只是規定了交互工具顯示字符的個數，對於存儲和計算來說是沒有意義的。

2.浮點數
FLOAT 和 DOUBLE 爲浮點類型，DECIMAL 爲高精度小數類型。CPU 原生支持浮點運算，但是不支持 DECIMAl 類型的計算，因此 DECIMAL 的計算比浮點類型需要更高的代價。

FLOAT、DOUBLE 和 DECIMAL 都可以指定列寬，例如 DECIMAL(18, 9) 表示總共 18 位，取 9 位存儲小數部分，剩下 9 位存儲整數部分。

3.字符串
主要有 CHAR 和 VARCHAR 兩種類型，一種是定長的，一種是變長的。

VARCHAR 這種變長類型能夠節省空間，因爲只需要存儲必要的內容。但是在執行 UPDATE 時可能會使行變得比原來長，當超出一個頁所能容納的大小時，就要執行額外的操作。MyISAM 會將行拆成不同的片段存儲，而 InnoDB 則需要分裂頁來使行放進頁內。

在進行存儲和檢索時，會保留 VARCHAR 末尾的空格，而會刪除 CHAR 末尾的空格。

4.時間和日期
MySQL 提供了兩種相似的日期時間類型：DATETIME 和 TIMESTAMP。

1.DATETIME
能夠保存從 1001 年到 9999 年的日期和時間，精度爲秒，使用 8 字節的存儲空間。

它與時區無關。

默認情況下，MySQL 以一種可排序的、無歧義的格式顯示 DATETIME 值，例如“2008-01-16 22:37:08”，這是 ANSI 標準定義的日期和時間表示方法。

2.TIMESTAMP
和 UNIX 時間戳相同，保存從 1970 年 1 月 1 日午夜（格林威治時間）以來的秒數，使用 4 個字節，只能表示從 1970 年到 2038 年。

它和時區有關，也就是說一個時間戳在不同的時區所代表的具體時間是不同的。

MySQL 提供了 FROM_UNIXTIME() 函數把 UNIX 時間戳轉換爲日期，並提供了 UNIX_TIMESTAMP() 函數把日期轉換爲 UNIX 時間戳。

默認情況下，如果插入時沒有指定 TIMESTAMP 列的值，會將這個值設置爲當前時間。

應該儘量使用 TIMESTAMP，因爲它比 DATETIME 空間效率更高。

切分

1.水平切分

2.垂直切分

Sharding 策略

哈希取模：hash(key) % N；
範圍：可以是 ID 範圍也可以是時間範圍；
映射表：使用單獨的一個數據庫來存儲映射關係。

Sharding 存在的問題

事務問題
使用分佈式事務來解決，比如 XA 接口。
連接
可以將原來的連接分解成多個單表查詢，然後在用戶程序中進行連接。
ID 唯一性
使用全局唯一 ID（GUID）
爲每個分片指定一個 ID 範圍
分佈式 ID 生成器 (如 Twitter 的 Snowflake 算法)

複製

MySQL Join的實現原理

MySQL是隻支持一種JOIN算法Nested-Loop Join（嵌套循環鏈接），他沒有其他很多數據庫所提供的Hash Join（哈希鏈接），也沒有Sort-Merge Join（合併鏈接）。

當進行多表連接查詢時，驅動表的定義爲：
1.指定了聯接條件時，滿足查詢條件的記錄行數少的表爲驅動表

2.未指定聯接條件時，行數少的表爲驅動表

Nested-Loop Join實際上就是是通過驅動表的結果集作爲循環基礎數據，然後一條一條地通過該結果集中的數據作爲過濾條件到下一個表中查詢數據，然後合併結果。還細分爲三種：
1.Simple Nested-Loop Join：從驅動表中取出R1匹配S表所有列，然後R2，R3,直到將R表中的所有數據匹配完，然後合併數據

2.Index Nested-Loop Join：驅動表會根據關聯字段的索引進行查找，當在索引上找到了符合的值，再回表進行查詢，也就是隻有當匹配到索引以後纔會進行回表，如果非驅動表的關聯鍵是主鍵的話，這樣來說性能就會非常的高。

3.Block Nested-Loop Join：如果Join的列沒有索引，這時MySQL會優先使用Block Nested-Loop Join的算法，Block Nested-Loop Join對比Simple Nested-Loop Join多了一箇中間處理的過程，也就是join buffer，使用join buffer將驅動表的查詢JOIN相關列都給緩衝到了JOIN BUFFER當中，然後批量與非驅動表進行比較，可以將多次比較合併到一次，降低了非驅動表的訪問頻率。

優化

不推薦用join，讓mysql自己決定，mysql查詢優化器會自動選擇數據量最小的那張表作爲驅動表。
因爲用left join的時候，左邊的是驅動表，考慮到查詢效率，能用join就不要用left\right join 使用外連接非常影響查詢效率，就算要用也要用數據量最小的表作爲驅動表來驅動大表，以此保證：“永遠用小結果集驅動大結果集”，儘可能減少JOIN中Nested Loop的循環次數。

MySQL優化

1.開啓查詢緩存，優化查詢
2.explain你的select查詢，這可以幫你分析你的查詢語句或是表結構的性能瓶頸。EXPLAIN 的查詢結果還會告訴你你的索引主鍵被如何利用的，你的數據表是如何被搜索和排序的
3.當只要一行數據時使用limit 1，MySQL數據庫引擎會在找到一條數據後停止搜索，而不是繼續往後查少下一條符合記錄的數據
4.爲搜索字段建索引
5.使用 ENUM 而不是 VARCHAR，如果你有一個字段，比如“性別”，“國家”，“民族”，“狀態”或“部門”，你知道這些字段的取值是有限而且固定的，那麼，你應該使用 ENUM 而不是VARCHAR。
6.Prepared Statements Prepared Statements很像存儲過程，是一種運行在後臺的SQL語句集合，我們可以從使用 prepared statements 獲得很多好處，無論是性能問題還是安全問題。Prepared Statements 可以檢查一些你綁定好的變量，這樣可以保護你的程序不會受到“SQL注入式”攻擊
7.垂直分表
8.選擇正確的存儲引擎

針對 Innodb 存儲引擎的三大特性有：兩次寫，自適應哈希索引，插入緩衝；
1.double write（兩次寫）作用：可以保證頁損壞之後，有副本直接可以進行恢復。
2.adaptive hash index（自適應哈希索引）作用：Innodb 存儲引擎會監控對錶上索引的查找，如果觀察到建立哈希索引可以帶來速度上的提升，則建立哈希索引。讀寫速度上也有所提高。
3.insert buffer （插入緩衝）作用：針對普通索引的插入把隨機 IO 變成順序 IO，併合並插入磁盤

面試系列之——MySQL基礎