Centos 6.8 下 Amoba 3.0 實現mysql 讀寫分離

什麼是 Amoba ？

Amoeba(變形蟲)項目,該開源框架於2008年 開始發佈一款 Amoeba for Mysql軟件。這個軟件致力於MySQL的分佈式數據庫前端代理層，它主要在應用層訪問MySQL的 時候充當SQL路由功能，專注於分佈式數據庫代理層（Database Proxy）開發。座落與 Client、DB Server(s)之間,對客戶端透明。具有負載均衡、高可用性、SQL 過濾、讀寫分離、可路由相關的到目標數據庫、可併發請求多臺數據庫合併結果。 通過Amoeba你能夠完成多數據源的高可用、負載均衡、數據切片的功能，目前Amoeba已在很多 企業的生產線上面使用。

Amoeba在分佈式數據庫領域將致力解決數據切分，應付客戶端“集中式”處理分佈式數據。這裏集中式是一個相對概念，客戶端不需要知道某種數據的物理存儲地。避免這種邏輯出現在業務端， 大大簡化了客戶端操作分佈式數據的複雜程度。

分佈式數據庫系統的優點：

1、降低費用。分佈式數據庫在地理上可以式分佈的。其系統的結構符合這種分佈的要求。允許用戶在自己的本地錄用、查詢、維護等操作，實行局部控制，降低通信代價，避免集中式需要更高要求 的硬件設備。而且分佈式數據庫在單臺機器上面數據量較少，其響應速度明顯提升。

2、提高系統整體可用性。避免了因爲單臺數據庫的故障而造成全部癱瘓的後果。

3、易於擴展處理能力和系統規模。分佈式數據庫系統的結構可以很容易地擴展系統，在分佈式數據庫中增加一個新的節點，不影響現有系統的正常運行。這種方式比擴大集中式系統要靈活經濟。在集中式系統中擴大系統和系統升級，由於有硬件不兼容和軟件改變困難等缺點，升級的代價常常是昂貴和不可行的。

Amoeba for mysql

Amoeba for mysql 對客戶端程序來說是什麼呢？ 我們就當它是mysql吧，它是一個虛擬的mysql，對外提供mysql協議。客戶端連接amoeba就象連接mysql一樣。在amoeba內部需要配置相關的認證屬性。

 

 

Amoeba for MySQL 與MySQL Proxy 比較

在MySQL proxy 6.0版本 上面如果想要讀寫分離並且 讀集羣、寫集羣 機器比較多情況下，用mysql proxy 需要相當大的工作量，目前mysql proxy沒有現成的 lua腳本。mysql proxy根本沒有配置文件， lua腳本就是它的全部，當然lua是相當方便的。那麼同樣這種東西需要編寫大量的腳本才能完成一 個複雜的配置。而Amoeba for Mysql只需要進行相關的配置就可以滿足需求。

Amoeba 不能做什麼？

1、目前還不支持事務

2、暫時不支持存儲過程（近期會支持）

3、不適合從amoeba導數據的場景或者對大數據量查詢的query並不合適（比如一次請求返回10w以上甚至更多數據的場合）

4、暫時不支持分庫分表，amoeba目前只做到分數據庫實例，每個被切分的節點需要保持庫表結構一致

 

Amoeba 3.0版本區別

1、採用更穩定的NIO框架

2、取消了很多不必要的同步鎖，能夠更好的利用高併發特性

3、代碼結構更加合理，重構以後很多可重用的東西將提取出來作爲公用類庫，未來升級方便

4、配置有所改動（不兼容），由於重構，class所在的包名字將有所有變化，但是基本維持原來的配置結構不變，如果熟悉2.X，那麼3.0上手非常容易

5、啓動腳本有變化，3.x將 bin/launcher 作爲啓動腳本（啓動以後直接可作爲後臺進程，不需要增加nohup等命令）， bin/shutdown作爲關閉腳本 

6、解決了last_insert_id問題

 

Amoeba 安裝

1、Amoeba 配置環境

Master 192.168.200.140 centos 6.8 mysql-5.5.53
Slave 192.168.200.180 centos 6.8 mysql-5.5.53
Amoeba 192.168.200.210 centos 6.8
# Amoeba 192.168.200.210(可以使用master 代替)

服務器安裝軟件版本

Mysq 5.5.53
Amoeba 3.05 RC
JDK 1.7.79

2、Mysql 主從複製安裝這裏就不描述了；詳見mysql 主從複製簡易配置指南

3、配置jdk 環境

由於Amoeba框架是基於Java SE1.5開發的，所以它需要在JDK 的環境下運行，

檢查amoeba 服務器的 java 環境

[root@bogon ~]# rpm -qa java  #查看是否安裝java 
[root@bogon ~]# java -version  #如果已經安裝java，查看java 版本，必須在1.5 以上
[root@bogon ~]# echo $JAVA_HOME 查看是否安裝配置了JDK

如果你的機器上沒有安裝JDK環境，需要安裝java

wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

解壓JDK

tar -zvxf jdk-7u79-linux-x64.tar.gz
mv jdk1.7.0_79/ /usr/local/jdk1.7/
編輯環境變量文件
vim /etc/profile
#
文件最後部分加入
export JAVA_HOME=/usr/local/jdk1.7  #jdk 安裝目錄
export PATH=$JAVA_HOME/bin:$PATH #java 家目錄的路徑
export PATH=$PATH:$HOME/bin:/usr/local/amoeba/bin #amoeba 的安裝目錄
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #java相應的工具目錄

source /etc/profile

jdk 的官方下載站點。

4、Amoeba 安裝

在Amoeba在SourceForge的主頁下載Amoeba，。

[root@bogon ~]# wget https://sourceforge.net/settings/mirror_choices?projectname=amoeba&filename=Amoeba%20for%20mysql/3.x/amoeba-mysql-3.0.5-RC-distribution.zip

解壓 amoeba

[root@bogon ~]# unzip amoeba-mysql-3.0.5-RC-distribution.zip -d /application/amoeba

啓動Amoeba

 [root@bogon ~]# /application/amoeba/launcher

關閉Amoeba

[root@bogon ~]# /application/amoeba/shutdown

  啓動時會出現如下錯誤：

  The stack size specified is too small, Specify at least 228k
  Error: Could not create the Java Virtual Machine.
  Error: A fatal exception has occurred. Program will exit.
  從錯誤文字上看，應該是由於stack size太小，導致JVM啓動失敗，要

  如何修改呢？
  其實Amoeba已經考慮到這個問題，並將JVM參數配置寫在屬性文件裏。現在，讓我們通過該屬性文件修改JVM參數。
  修改jvm.properties文件JVM_OPTIONS參數。
=============================================================
  解決方法

  vi /$AMOEBA_HOME/jvm.properties

  更改成

JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"

===============================================================

  Amoeba 3.0 版本以下解決辦法：

 
  打開bin目錄下 的amoeba啓動文件，修改58行的Xss參數： 

 DEFAULT_OPTS=”-server -Xms1024m -Xmx1024m -Xss128k”

  修改爲： 

 DEFAULT_OPTS=”-server -Xms1024m -Xmx1024m -Xss256k”

===============================================================

  5、配置Amoeba

Amoeba有主要的配置文件

$AMOEBA_HOME/conf/dbServers.xml中配置主機信息，如主機ip，端口，amoeba 連接的用戶名與密碼等

$AMOEBA_HOME/conf/rule.xml中配置與切分規則相關的信息

$AMOEBA_HOME/conf/functionMap.xml描述了SQL函數名和函數處理的關係

$AMOEBA_HOME/conf/rule.xml 配置自己定義的函數

$AMOEBA_HOME/conf/ruleFunctionMap.xml中定義自定義函數名與函數處理的關係。

$AMOEBA_HOME/conf/access_list.conf中配置訪問控制

$AMOEBA_HOME/conf/log4j.xml 配置輸出日誌級別和方式

  通過更改amoeba.xml和dbServer.xml 配置文件實現mysql主從讀寫分離,配置如下:

  amoeba.xml 配置如下：

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

	<proxy>
		<!-- service class must implements com.meidusa.amoeba.service.Service -->
		<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
			<!-- proxy server port -->
			<property name="port">8066</property> #proxy server 綁定的端口號
			
			<!-- bind ipAddress -->
			
			<property name="ipAddress">192.168.200.210</property> #proxy server 綁定的ip地址
						
			<property name="connectionFactory">
				<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
					<property name="sendBufferSize">128</property>
					<property name="receiveBufferSize">64</property>
				</bean>
			</property>
			
			<property name="authenticateProvider">
				<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
					
					<property name="user">root</property> #通過 proxy server 訪問MySQL的用戶名
					
					<property name="password">123</property>  #通過 proxy server 訪問MySQL的密碼
					
					<property name="filter">
						<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
							<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
						</bean>
					</property>
				</bean>
			</property>
			
		</service>
		
		<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
			
			<!-- proxy server client process thread size -->
			<property name="executeThreadSize">128</property>
			
			<!-- per connection cache prepared statement size  -->
			<property name="statementCacheSize">500</property>
			
			<!-- default charset -->
			<property name="serverCharset">utf8</property>
			
			<!-- query timeout( default: 60 second , TimeUnit:second) -->
			<property name="queryTimeout">60</property>
		</runtime>
		
	</proxy>
	
	<!-- 
		Each ConnectionManager will start as thread
		manager responsible for the Connection IO read , Death Detection
	-->
	<connectionManagerList>
		<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
			<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
		</connectionManager>
	</connectionManagerList>
	
		<!-- default using file loader -->
	<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
		<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
	</dbServerLoader>
	
	<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
		<property name="ruleLoader">
			<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
				<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
				<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
			</bean>
		</property>
		<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
		<property name="LRUMapSize">1500</property>
		<property name="defaultPool">multiPool</property>
		
		
		<!--<property name="writePool">server1</property>
		<property name="readPool">multiPool</property>
		-->
		<property name="needParse">true</property>
	</queryRouter>
</amoeba:configuration>

  dbServer.xml 配置如下：

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

		<!-- 
			Each dbServer needs to be configured into a Pool,
			If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
			 add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
			 such as 'multiPool' dbServer   
		-->
		
	<dbServer name="abstractServer" abstractive="true">
		<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
			<property name="connectionManager">${defaultManager}</property>
			<property name="sendBufferSize">64</property>
			<property name="receiveBufferSize">128</property>
				
			<!-- mysql port -->
			<property name="port">3306</property>
			
			<!-- mysql schema -->
			<property name="schema">test</property>
			
			<!-- mysql user -->
			<property name="user">amoeba</property>
			
			<property name="password">think</property>
		</factoryConfig>

		<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
			<property name="maxActive">500</property>
			<property name="maxIdle">500</property>
			<property name="minIdle">1</property>
			<property name="minEvictableIdleTimeMillis">600000</property>
			<property name="timeBetweenEvictionRunsMillis">600000</property>
			<property name="testOnBorrow">true</property>
			<property name="testOnReturn">true</property>
			<property name="testWhileIdle">true</property>
		</poolConfig>
	</dbServer>

	<dbServer name="server1"  parent="abstractServer">
		<factoryConfig>
			<!-- mysql ip -->
			<property name="ipAddress">192.168.200.140</property>
		</factoryConfig>
	</dbServer>
	
	<dbServer name="server2"  parent="abstractServer">
		<factoryConfig>
			<!-- mysql ip -->
			<property name="ipAddress">192.168.200.180</property>
		</factoryConfig>
	</dbServer>
	
	<dbServer name="multiPool" virtual="true">
		<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
			<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
			<property name="loadbalance">1</property>
			
			<!-- Separated by commas,such as: server1,server2,server1 -->
			<property name="poolNames">server1,server2</property>
		</poolConfig>
	</dbServer>
		
</amoeba:dbServers>

[root@bogon ~]# /application/amoeba/bin/launcher &    //啓動amoeba服務

#檢查啓動狀態
[root@bogon ~]# ps -aux|grep amoeba
Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ
root       3915  0.0  0.1 106072  1392 pts/6    S+   03:22   0:00 /bin/bash /application/amoeba/bin/launcher
root       3920  1.2  8.3 1883360 83648 pts/6   Sl+  03:22   0:03 /usr/local/jdk1.7/bin/java -server -Xms256m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m -Dproject.home=/application/amoeba -Damoeba.home=/application/amoeba -Dproject.name=Amoeba-MySQL -Dproject.output=/application/amoeba/logs -Dignore.signals=1,2 -Dclassworlds.conf=/application/amoeba/bin/launcher.classpath -classpath /application/amoeba/lib/plexus-classworlds-2.4.2-HEXNOVA.jar org.codehaus.classworlds.Launcher
root       3921  0.0  0.0 100952   656 pts/6    S+   03:22   0:00 tail -f /application/amoeba/logs/console.log
 
[root@bogon ~]# netstat -lntpu|grep 8066
tcp        0      0 ::ffff:192.168.200.210:8066 :::*                 LISTEN      3920/java
看到進程以及端口說明amoeba服務啓動正常

  6、測試mysql的讀寫分離

  測試之前先要保證amoeba-server有訪問兩個主從服務器test庫的權限,在主從mysql上都執行：

mysql>  grant all on test.* to amoeba@'192.168.200.%' identified by 'think';
mysql>  flush privileges;

  登錄amoeba服務器使用如下命令（用戶名密碼和上面配置的要一致）:

 mysql -uroot -p123 -h192.168.200.210  -P8066

  如果可以登陸並且沒有任何錯誤就說明是OK的。登錄上去後,爲了測試讀和寫必須先把mysql的主從複製停掉,才能更清楚地看出讀寫的服務器是哪臺,在從上使用stop slave;登錄到amoeba-mysql上,使用命令mysql -uroot -p123-h192.168.200.210  -P8066,然後執行寫和讀操作,查看寫的是哪臺服務器,讀的是哪臺服務器,實驗結果顯示:寫只在主上進行,讀在主和從都進行,比率是1:1

  在沒有停止同步之前先在master服務器上創建一個表

mysql>  create table amoeba (id int(10) ,name varchar(10));

   然後在slave服務器上停止數據同步

mysql> stop slave;

   在主從上各插入一條不同數據（供測試讀的時候用）:

   在master上插入：

mysql> insert into sxit values('1','amoeba1');

   在slave上插入：

mysql> insert into sxit values('2','amoeba2');

   登陸到amoeba服務器,進行讀寫分離的測試:

[root@bogon ~]# mysql -u root -p123 -h192.168.200.210 -P8066

mysql> use test;

mysql> select * from amoeba; #第一次執行select是在master服務器上查詢的
+------+----------+
| id   | name    |
+------+----------+
|    1 | amoeba1 |
+------+----------+
1 rows in set (0.00 sec)

mysql> select * from amoeba; #第二次執行select是在slave服務器上查詢的
+------+----------+
| id   | name     |
+------+----------+
|    2 | amoeba2  |
+------+----------+
1 rows in set (0.00 sec)
 
mysql> insert into amoeba values('3','amoeba3'); #插入一條數據,然後在select
Query OK, 1 row affected (0.05 sec)

mysql> select * from amoeba; #可以看到上面新插入的語句在master上了
+------+----------+
| id   | name   |
+------+----------+
|    1 | amoeba1 |
|    3 | amoeba3 |
+------+----------+
2 rows in set (0.00 sec)
 
mysql> select * from sxit; #slave服務器上是沒有這條新的語句的,
+------+------+
| id   | name |
+------+------+
|    2 | lisi |
+------+------+
1 row in set (0.00 sec)

 參考文檔：http://docs.hexnova.com/amoeba/rw-splitting.html