MySQL5.6 新性能之交換分區(exchange partitions)

說明：文章內容起源於網絡並結合自己的實驗而得；但參考的文章地址當時沒記錄下來，如果發現有侵權問題，請留言。

~
~
分區是MySQL5.1版本時添加了對分區的支持。
分區的過程是將一個表或者索引分解爲多個更小，更可管理的部分，每個分區都是獨立的對象，可以獨立處理，也可以作爲一個更大的對象的一部分進行處理。

MySQL數據庫支持的分區類型爲水平分區，並不支持垂直分區。

此外MySQL數據庫的分區是局部分區索引，一個分區中既存放了數據又存放了索引。而全局分區是指數據存放在各個分區中，而索引存放在一個對象中。目前MySQL數據庫還不支持全局分區。

MySQL5.6 ，讓分區交換成了現實。只需要通過ALTER TABLE ...EXCHANGE PARTITION語句即可，也就是說，可以在短暫的時間內將某一個分區內的數據移到其他(獨立)表中。
假設有分區表P和未分區表T，他們除去分區屬性不同外，其他列屬性都一樣，那麼可用EXCHANGE PARTITION將P的某個分區和T表中的數據進行互換；也就是P中某分區的數據會剪切的存入T，而T中數據會剪切的存入P分區。利用該功能可用將T表數據載入分區中，也可用將分區數據導出到T表中。
該操作需要永遠ALTER, INSERT, CREATE, DROP權限。

一、實驗

實驗一：交換主分區
備註：matchedVideo中分區viacom有2410806行記錄，如果要將這部分數據備份出來，MySQL 5.1需要新建臨時表，然後把這部分數據導出去；

1>備份某一分區數據

mysql> create table matchedVideo4 like matchedVideo;
Query OK, 0 rows affected (1 min 13.84 sec)

mysql> insert into matchedVideo4 select * from matchedVideo where company_id = 14;
Query OK, 2410806 rows affected (12 min 28.41 sec)
Records: 2410806  Duplicates: 0  Warnings: 0

2>刪除某一個分區數據（分區保留）

mysql> delete from matchedVideo4 where company_id = 14;
Query OK, 2410806 rows affected (8 min 47.76 sec)

-- 刪除分區的時間爲insert+delete的執行時間約爲20分鐘。

然而MySQL5.6在性能上有了很大的改進，大大的縮短了時間。

mysql> create table matchedVideo2 like matchedVideo;
Query OK, 0 rows affected (1 min 13.84 sec)

mysql> ALTER TABLE matchedVideo2 REMOVE PARTITIONING;
Query OK, 0 rows affected (16.88 sec)
Records: 0  Duplicates: 0  Warnings: 0

-- 刪除分區信息，使matchedVideo2稱爲列屬性相同的普通表，以便實現將單個分區數據放入單個表進行歸檔。

mysql> select * from matchedVideo where company_id = 14;
+----------+
| count(*) |
+----------+
|  2410806 |
+----------+
1 row in set (0.00 sec)

mysql> ALTER TABLE matchedVideo EXCHANGE PARTITION Viacom WITH TABLE matchedVideo2;
Query OK, 0 rows affected (0.67 sec)

-- 交換分區Viacom的數據到普通表中

mysql> select count(*) from matchedVideo2;
+----------+
| count(*) |
+----------+
|  2410806 |
+----------+
1 row in set (4.24 sec)

mysql> select * from matchedVideo where company_id = 14;
+----------+
| count(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

二、交換分區應遵循以下原則：

1>被交換的表爲沒有分區，但是有相同結構的表

2>未分區表中的記錄必須要在另一表的分區或子分區範圍內

mysql> ALTER TABLE matchedVideo EXCHANGE PARTITION Viacom WITH TABLE matchedVideo2;

Query OK, 0 rows affected (0.58 sec)
mysql> update matchedVideo2 set company_id = 10 where id = 75537347;
Query OK, 1 row affected (0.23 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> ALTER TABLE matchedVideo EXCHANGE PARTITION Viacom WITH TABLE matchedVideo2;
ERROR 1737 (HY000): Found a row that does not match the partition

3>交換表中不允許有外鍵

分區在不同引擎中的情況：
分區功能並不是在存儲引擎層完成，因此不是隻有InnoDB存儲引擎支持分區，常見的存儲引擎MyISAM，NDB等都支持，但也不是所有的都支持，CSV，FEDORATED，MERGE等就不支持。
下面我們來看下InnoDB，MyISAM的區別：
不管是5.1還是5.6版本，引擎在處理數據不存在分區的情況是一樣的

Innodb

mysql>     create table t (
    ->     id int) engine=innodb
    ->     partition by range (id) (
    ->     partition p0 values less than (10),
    ->     partition p1 values less than (20));
Query OK, 0 rows affected (3.25 sec)

root@test 11:30:42>insert into t(id) values(3),(4),(10),(13),(21);
ERROR 1526 (HY000): Table has no partition for value 21
root@test 11:32:18>select * from t;
Empty set (0.00 sec)

MyISAM

mysql>     create table tt (
    ->     id int) engine=myisam
    ->     partition by range (id) (
    ->     partition p0 values less than (10),
    ->     partition p1 values less than (20));
Query OK, 0 rows affected (0.10 sec)

root@test 11:31:10>insert into tt(id) values(3),(4),(10),(13),(21);
ERROR 1526 (HY000): Table has no partition for value 21
root@test 11:31:59>select * from tt;
+------+
| id   |
+------+
|    3 |
|    4 |
|   10 |
|   13 |
+------+
4 rows in set (0.00 sec)

由此可見，當插入多行記錄數據時不存在與分區中，InnoDB會全部回滾，而MyISAM會從出錯的數據那行開始回滾，之前的都會插入。

三、分區分類

分區分類包括：Range，List，Hash，Key分區四類
mysql5.5開始支持COLUMNS分區 ,視爲RANGE分區和LIST分區的一種進化，columns分區可以直接使用非整型的數據進行分區，分區根據類型直接比較而得，不需要轉化爲整型，此外，columns分區可以對多個列的值進行分區支持INT,SMALLINT,TINYINT,BIGINT.DATE,DATETIME,CHAR,VARCHAR,BINARY,VARBINARY類型

MySQL5.1

root@test 11:57:19>    CREATE TABLE t_columns_range51(
    ->     a INT,
    ->     b DATETIME) ENGINE=INNODB
    ->     PARTITION BY RANGE (TO_DAYS(b))
    ->     (PARTITION p0 VALUES LESS THAN(TO_DAYS('2009-01-01')),
    ->     PARTITION p1 VALUES LESS THAN(TO_DAYS('2010-01-01')));
Query OK, 0 rows affected (0.42 sec)

root@test 11:57:19>insert into t_columns_range51(a,b) values(1,'2009-02-01');
Query OK, 1 row affected (0.00 sec)

root@test 11:58:18>select table_name,partition_name,table_rows from information_schema.partitions where table_name ='t_columns_range51';
+-------------------+----------------+------------+
| table_name        | partition_name | table_rows |
+-------------------+----------------+------------+
| t_columns_range51 | p0             |          0 |
| t_columns_range51 | p1             |          1 |
+-------------------+----------------+------------+
2 rows in set (0.00 sec)

MySQL5.6

mysql>     CREATE TABLE t_columns_range(
    ->     a INT,
    ->     b DATETIME) ENGINE=INNODB
    ->     PARTITION BY RANGE COLUMNS (b)
    ->     (PARTITION p0 VALUES LESS THAN('2009-01-01'),
    ->     PARTITION p1 VALUES LESS THAN('2010-01-01'));
Query OK, 0 rows affected (0.26 sec)

mysql> insert into t_columns_range(a,b) values (1,'2009-02-01');
Query OK, 1 row affected (0.05 sec)

mysql> select table_name,partition_name,table_rows from information_schema.partitions where table_name ='t_columns_range';
+-----------------+----------------+------------+
| table_name      | partition_name | table_rows |
+-----------------+----------------+------------+
| t_columns_range | p0             |          0 |
| t_columns_range | p1             |          1 |
+-----------------+----------------+------------+
2 rows in set (0.03 sec)

mysql> create table c1(
    -> a varchar(25),
    -> b varchar(25),
    -> city varchar(15)
    -> )
    -> partition by list columns(city)(
    -> partition p1 values in('xx','yy'),
    -> partition p2 values in('uu','vv'));
Query OK, 0 rows affected (0.46 sec)

mysql> insert into c1(a,b,city) values('a','a','xx');
Query OK, 1 row affected (5.41 sec)

mysql> select table_name,partition_name,table_rows from information_schema.partitions where table_name ='c1';
+------------+----------------+------------+
| table_name | partition_name | table_rows |
+------------+----------------+------------+
| c1         | p1             |          1 |
| c1         | p2             |          0 |
+------------+----------------+------------+
2 rows in set (0.00 sec)

對於range columns分區，可以使用多個列進行分區，如

mysql> create table c2(
    -> a int,
    -> b int,
    -> c varchar(15)
    -> )
    -> partition by range columns(a,b,c)(
    -> partition p1 values less than (5,10,'xbb'),
    -> partition p2 values less than (10,20,'icey'),
    -> partition p5 values less than (maxvalue,maxvalue,maxvalue));
Query OK, 0 rows affected (0.16 sec)

mysql> insert into c2(a,b,c) values(3,20,'xbb');
Query OK, 1 row affected (0.04 sec)

mysql>  select table_name,partition_name,table_rows from information_schema.partitions where table_name ='c2';
+------------+----------------+------------+
| table_name | partition_name | table_rows |
+------------+----------------+------------+
| c2         | p1             |          1 |
| c2         | p2             |          0 |
| c2         | p5             |          0 |
+------------+----------------+------------+
3 rows in set (0.00 sec)

mysql> insert into c2(a,b,c) values(12,22,'xbb');
Query OK, 1 row affected (0.02 sec)

mysql>  select table_name,partition_name,table_rows from information_schema.partitions where table_name ='c2';
+------------+----------------+------------+
| table_name | partition_name | table_rows |
+------------+----------------+------------+
| c2         | p1             |          1 |
| c2         | p2             |          0 |
| c2         | p5             |          1 |
+------------+----------------+------------+
3 rows in set (0.00 sec)

當行列中有一半以上滿足某一個分區，則存與那個分區中

四、注意：

1.分區優化器只對YEAR()，TO_DAYS()，TO_SECONDS(),UNIX_TIMESTAMP()這類函數進行優化選擇，如果人爲的定義分區，如按照年月做分區（201102），year(date)+month(date),優化器不會根據分區進行選擇，會掃描所有的分區。正確的應該用to_days來進行分區。

2.分區中的null不同的類型處理也不同
1>對於Range分區，如果向分區列插入NULL值，則MySQL數據庫會將該值放入最左邊的分區。但刪除分區時，刪除的將是小於分區的值，並且還有Null的值。
2>對於List分區，如果要使用NULL值，則必須在List中標明哪個分區中放入NULL值，否則插入報錯。。
3>Hash和key分區對於NULL值的處理方法和list和range分區不一樣，任何函數都會將含有NUll值的記錄返回0.

~
~
完畢！

MySQL5.6 新性能之交換分區(exchange partitions)

MySQL5.6 新性能之交換分區(exchange partitions)

一、實驗

1>備份某一分區數據

2>刪除某一個分區數據（分區保留）

二、交換分區應遵循以下原則：

1>被交換的表爲沒有分區，但是有相同結構的表

2>未分區表中的記錄必須要在另一表的分區或子分區範圍內

3>交換表中不允許有外鍵

Innodb

MyISAM

三、分區分類

MySQL5.1

MySQL5.6

四、注意：

Kafka存儲機制

aws語音呼叫調用，告警電話

【轉】[C#] WebAPI 防止併發調用二（冥等性）

HTTP URL 詳解

創新工具：2024年開發者必備的一款表格控件（二）

車牌識別控制檯可快速整合二次開發

Nagios監控之12：pnp4nagios自定義模板畫圖

按指定列去重並求各值的最後一條記錄

MySQL數據庫負載很高連接數很多怎麼處理

缺少主鍵導致嚴重的從庫複製延遲

MySQL安全策略

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結