1、什麼是MyCAT?
簡單的說,MyCAT就是:
一個徹底開源的,面向企業應用開發的“大數據庫集羣”
支持事務、ACID、可以替代Mysql的加強版數據庫
一個可以視爲“Mysql”集羣的企業級數據庫,用來替代昂貴的Oracle集羣
一個融合內存緩存技術、Nosql技術、HDFS大數據的新型SQL Server
結合傳統數據庫和新型分佈式數據倉庫的新一代企業級數據庫產品
一個新穎的數據庫中間件產品
MyCAT的目標是:低成本的將現有的單機數據庫和應用平滑遷移到“雲”端,解決數據存儲和業務規模迅速增長情況下的數據瓶頸問題。
2、MyCAT的關鍵特性
支持 SQL 92標準
支持Mysql集羣,可以作爲Proxy使用
支持JDBC連接ORACLE、DB2、SQL Server,將其模擬爲MySQL Server使用
支持galera for mysql集羣,percona-cluster或者mariadb cluster,提供高可用性數據分片集羣
自動故障切換,高可用性
支持讀寫分離,支持Mysql雙主多從,以及一主多從的模式
支持全局表,數據自動分片到多個節點,用於高效表關聯查詢
支持獨有的基於E-R 關係的分片策略,實現了高效的表關聯查詢
多平臺支持,部署和實施簡單
3、MyCAT架構
如圖所示:MyCAT使用Mysql的通訊協議模擬成了一個Mysql服務器,並建立了完整的Schema(數據庫)、Table (數據表)、User(用戶)的邏輯模型,並將這套邏輯模型映射到後端的存儲節點DataNode(MySQL Instance)上的真實物理庫中,這樣一來,所有能使用Mysql的客戶端以及編程語言都能將MyCAT當成是Mysql Server來使用,不必開發新的客戶端協議。
4、Mycat解決的問題
- 性能問題
- 數據庫連接過多
- E-R分片難處理
- 可用性問題
- 成本和伸縮性問題
5、Mycat對多數據庫的支持
6、分片策略
MyCAT支持水平分片與垂直分片:
·水平分片:一個表格的數據分割到多個節點上,按照行分隔。
·垂直分片:一個數據庫中多個表格A,B,C,A存儲到節點1上,B存儲到節點2上,C存儲到節點3上。
MyCAT通過定義表的分片規則來實現分片,每個表格可以捆綁一個分片規則,每個分片規則指定一個分片字段並綁定一個函數,來實現動態分片算法。
- Schema:邏輯庫,與MySQL中的Database(數據庫)對應,一個邏輯庫中定義了所包括的Table。
- Table:表,即物理數據庫中存儲的某一張表,與傳統數據庫不同,這裏的表格需要聲明其所存儲的邏輯數據節點DataNode。在此可以指定表的分片規則。
- DataNode:MyCAT的邏輯數據節點,是存放table的具體物理節點,也稱之爲分片節點,通過DataSource來關聯到後端某個具體數據庫上
- DataSource:定義某個物理庫的訪問地址,用於捆綁到Datanode上
7、Mycat的下載及安裝
7.1下載mycat
github地址:https://github.com/MyCATApache
7.2Mycat安裝
第一步:把MyCat的壓縮包上傳到linux服務器
第二步:解壓縮,得到mycat目錄
第三步:進入mycat/bin,啓動MyCat
啓動命令:./mycat start
停止命令:./mycat stop
重啓命令:./mycat restart
注意:可以使用mysql的客戶端直接連接mycat服務。默認服務端口爲8066
8、Mycat分片
8.1需求
把商品表分片存儲到三個數據節點上。
8.2安裝環境
mysql節點1環境
操作系統版本 : centos6.4
數據庫版本 : mysql-5.6
mycat版本 :1.4 release
數據庫名 : db1、db3
ip:192.168.25.134
mysql節點2環境
操作系統版本 : centos6.4
數據庫版本 : mysql-5.6
mycat版本 :1.4 release
數據庫名 : db2
ip:192.168.25.166
MyCat安裝到節點1上(需要安裝jdk)
8.3 配置schema.xml
Schema.xml介紹
Schema.xml作爲MyCat中重要的配置文件之一,管理着MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置,是正確使用MyCat的前提。這裏就一層層對該文件進行解析。
schema 標籤用於定義MyCat實例中的邏輯庫
Table 標籤定義了MyCat中的邏輯表
dataNode 標籤定義了MyCat中的數據節點,也就是我們通常說所的數據分片。
dataHost標籤在mycat邏輯庫中也是作爲最底層的標籤存在,直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。
注意:若是LINUX版本的MYSQL,則需要設置爲Mysql大小寫不敏感,否則可能會發生表找不到的問題。 在MySQL的配置文件中my.ini [mysqld] 中增加一行 lower_case_table_names = 1 |
Schema.xml配置
<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://org.opencloudb/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> <!-- auto sharding by id (long) --> <table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /> <table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" /> </schema> <dataNode name="dn1" dataHost="localhost1" database="db1" /> <dataNode name="dn2" dataHost="localhost2" database="db2" /> <dataNode name="dn3" dataHost="localhost1" database="db3" /> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM1" url="192.168.25.134:3306" user="root" password="root"> <!-- can have multi read hosts -->
</writeHost> </dataHost> <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM1" url="192.168.25.166:3306" user="root" password="root"> <!-- can have multi read hosts --> </writeHost> </dataHost> </mycat:schema>
|
8.4配置server.xml
Server.xml介紹
server.xml幾乎保存了所有mycat需要的系統配置信息。最常用的是在此配置用戶名、密碼及權限。
Server.xml配置
<user name="test"> <property name="password">test</property> <property name="schemas">TESTDB</property> <property name="readOnly">true</property> </user> |
8.5 配置rule.xml
rule.xml裏面就定義了我們對錶進行拆分所涉及到的規則定義。我們可以靈活的對錶使用不同的分片算法,或者對錶使用相同的算法但具體的參數不同。這個文件裏面主要有tableRule和function這兩個標籤。在具體使用過程中可以按照需求添加tableRule
和function。
此配置文件可以不用修改,使用默認即可。
8.6 測試分片
創建表
配置完畢後,重新啓動mycat。使用mysql客戶端連接mycat,創建表。
-- ---------------------------- -- Table structure for tb_item -- ---------------------------- DROP TABLE IF EXISTS `tb_item`; CREATE TABLE `tb_item` ( `id` bigint(20) NOT NULL COMMENT '商品id,同時也是商品編號', `title` varchar(100) NOT NULL COMMENT '商品標題', `sell_point` varchar(500) DEFAULT NULL COMMENT '商品賣點', `price` bigint(20) NOT NULL COMMENT '商品價格,單位爲:分', `num` int(10) NOT NULL COMMENT '庫存數量', `barcode` varchar(30) DEFAULT NULL COMMENT '商品條形碼', `image` varchar(500) DEFAULT NULL COMMENT '商品圖片', `cid` bigint(10) NOT NULL COMMENT '所屬類目,葉子類目', `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品狀態,1-正常,2-下架,3-刪除', `created` datetime NOT NULL COMMENT '創建時間', `updated` datetime NOT NULL COMMENT '更新時間', PRIMARY KEY (`id`), KEY `cid` (`cid`), KEY `status` (`status`), KEY `updated` (`updated`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';
-- ---------------------------- -- Table structure for tb_user -- ---------------------------- DROP TABLE IF EXISTS `tb_user`; CREATE TABLE `tb_user` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `username` varchar(50) NOT NULL COMMENT '用戶名', `password` varchar(32) NOT NULL COMMENT '密碼,加密存儲', `phone` varchar(20) DEFAULT NULL COMMENT '註冊手機號', `email` varchar(50) DEFAULT NULL COMMENT '註冊郵箱', `created` datetime NOT NULL, `updated` datetime NOT NULL, PRIMARY KEY (`id`), UNIQUE KEY `username` (`username`) USING BTREE, UNIQUE KEY `phone` (`phone`) USING BTREE, UNIQUE KEY `email` (`email`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用戶表'; |
插入數據
將此文件中的數據插入到數據庫:
分片測試
由於配置的分片規則爲“auto-sharding-long”,所以mycat會根據此規則自動分片。
每個datanode中保存一定數量的數據。根據id進行分片
經測試id範圍爲:
Datanode1:1~5000000
Datanode2:5000000~10000000
Datanode3:10000001~15000000
當15000000以上的id插入時報錯:
[Err] 1064 - can't find any valid datanode :TB_ITEM -> ID -> 15000001
此時需要添加節點了。
9、Mycat讀寫分離
數據庫讀寫分離對於大型系統或者訪問量很高的互聯網應用來說,是必不可少的一個重要功能。對於MySQL來說,標準的讀寫分離是主從模式,一個寫節點Master後面跟着多個讀節點,讀節點的數量取決於系統的壓力,通常是1-3個讀節點的配置
Mycat讀寫分離和自動切換機制,需要mysql的主從複製機制配合。
9.1 Mysql的主從複製
主從配置需要注意的地方
1、主DB server和從DB server數據庫的版本一致
2、主DB server和從DB server數據庫數據一致[ 這裏就會可以把主的備份在從上還原,也可以直接將主的數據目錄拷貝到從的相應數據目錄]
3、主DB server開啓二進制日誌,主DB server和從DB server的server_id都必須唯一
9.2 Mysql主服務器配置
第一步:修改my.conf文件:
在[mysqld]段下添加:
binlog-do-db=db1 binlog-ignore-db=mysql #啓用二進制日誌 log-bin=mysql-bin #服務器唯一ID,一般取IP最後一段 server-id=134 |
第二步:重啓mysql服務
service mysqld restart
第三步:建立帳戶並授權slave
mysql>GRANT FILE ON *.* TO 'backup'@'%' IDENTIFIED BY '123456';
mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to 'backup'@'%' identified by '123456';
#一般不用root帳號,“%”表示所有客戶端都可能連,只要帳號,密碼正確,此處可用具體客戶端IP代替,如192.168.145.226,加強安全。
刷新權限
mysql> FLUSH PRIVILEGES;
查看mysql現在有哪些用戶
mysql>select user,host from mysql.user;
第四步:查詢master的狀態
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 120 | db1 | mysql | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set
9.3 Mysql從服務器配置
第一步:修改my.conf文件
[mysqld]
server-id=166
第二步:配置從服務器
mysql>change master to master_host='192.168.25.134',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=120
注意語句中間不要斷開,master_port爲mysql服務器端口號(無引號),master_user爲執行同步操作的數據庫賬戶,“120”無單引號(此處的120就是show master status 中看到的position的值,這裏的mysql-bin.000001就是file對應的值)。
第二步:啓動從服務器複製功能
Mysql>start slave;
第三步:檢查從服務器複製功能狀態:
mysql> show slave status
……………………(省略部分)
Slave_IO_Running: Yes //此狀態必須YES
Slave_SQL_Running: Yes //此狀態必須YES
……………………(省略部分)
注:Slave_IO及Slave_SQL進程必須正常運行,即YES狀態,否則都是錯誤的狀態(如:其中一個NO均屬錯誤)。
錯誤處理: 如果出現此錯誤: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work. 因爲是mysql是克隆的系統所以mysql的uuid是一樣的,所以需要修改。 |
解決方法: 刪除/var/lib/mysql/auto.cnf文件,重新啓動服務。 |
以上操作過程,從服務器配置完成。
9.4 Mycat配置
Mycat 1.4 支持MySQL主從複製狀態綁定的讀寫分離機制,讓讀更加安全可靠,配置如下:
<dataNode name="dn1" dataHost="localhost1" database="db1" /> <dataNode name="dn2" dataHost="localhost1" database="db2" /> <dataNode name="dn3" dataHost="localhost1" database="db3" /> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100"> <heartbeat>show slave status</heartbeat> <writeHost host="hostM" url="192.168.25.134:3306" user="root" password="root"> <readHost host="hostS" url="192.168.25.166:3306" user="root" password="root" /> </writeHost> </dataHost>
|
- 設置 balance="1"與writeType="0"
Balance參數設置:
1. balance=“0”, 所有讀操作都發送到當前可用的writeHost上。
2. balance=“1”,所有讀操作都隨機的發送到readHost。
3. balance=“2”,所有讀操作都隨機的在writeHost、readhost上分發
WriteType參數設置:
1. writeType=“0”, 所有寫操作都發送到可用的writeHost上。
2. writeType=“1”,所有寫操作都隨機的發送到readHost。
3. writeType=“2”,所有寫操作都隨機的在writeHost、readhost分上發。
“readHost是從屬於writeHost的,即意味着它從那個writeHost獲取同步數據,因此,當它所屬的writeHost宕機了,則它也不會再參與到讀寫分離中來,即“不工作了”,這是因爲此時,它的數據已經“不可靠”了。基於這個考慮,目前mycat 1.3和1.4版本中,若想支持MySQL一主一從的標準配置,並且在主節點宕機的情況下,從節點還能讀取數據,則需要在Mycat裏配置爲兩個writeHost並設置banlance=1。”
- 設置 switchType="2" 與slaveThreshold="100"
switchType 目前有三種選擇:
-1:表示不自動切換
1 :默認值,自動切換
2 :基於MySQL主從同步的狀態決定是否切換
“Mycat心跳檢查語句配置爲 show slave status ,dataHost 上定義兩個新屬性: switchType="2" 與slaveThreshold="100",此時意味着開啓MySQL主從複製狀態綁定的讀寫分離與切換機制。Mycat心跳機制通過檢測 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三個字段來確定當前主從同步的狀態以及Seconds_Behind_Master主從複製時延。“