Amoeba搞定mysql主從讀寫分離

前言:一直想找一個工具,能很好的實現mysql主從的讀寫分離架構,曾經試用過mysql-proxy發現lua用起來很不爽,尤其是不懂lua腳本,突然發現了Amoeba這個項目,試用了下,感覺還不錯,寫出文檔,希望對大家有幫助!

一、Amoeba是什麼

Amoeba(變形蟲)項目,專注 分佈式數據庫 proxy 開發。座落與ClientDB Server(s)之間。對客戶端透明。具有負載均衡、高可用性、sql過濾、讀寫分離、可路由相關的query到目標數據庫、可併發請求多臺數據庫合併結果。

主要解決:

降低 數據切分帶來的複雜多數據庫結構

提供切分規則並降低 數據切分規則 給應用帶來的影響

降低db 與客戶端的連接數

讀寫分離

 

二、爲什麼要用Amoeba

目前要實現mysql的主從讀寫分離,主要有以下幾種方案:

1、  通過程序實現,網上很多現成的代碼,比較複雜,如果添加從服務器要更改多臺服務器的代碼。

2、  通過mysql-proxy來實現,由於mysql-proxy的主從讀寫分離是通過lua腳本來實現,目前lua的腳本的開發跟不上節奏,而寫沒有完美的現成的腳本,因此導致用於生產環境的話風險比較大,據網上很多人說mysql-proxy的性能不高。

3、  自己開發接口實現,這種方案門檻高,開發成本高,不是一般的小公司能承擔得起。

4、  利用阿里巴巴的開源項目Amoeba來實現,具有負載均衡、高可用性、sql過濾、讀寫分離、可路由相關的query到目標數據庫,並且安裝配置非常簡單。國產的開源軟件,應該支持,目前正在使用,不發表太多結論,一切等測試完再發表結論吧,哈哈!

 

三、快速架設amoeba,實現mysql主從讀寫分離

假設amoeba的前提條件:

n         Java SE 1.5 或以上 Amoeba 框架是基於JDK1.5開發的,採用了JDK1.5的特性。

n         支持Mysql 協議版本10mysql 4.1以後的版本)。

n         您的網絡環境至少運行有一個mysql 4.1以上的服務

       1、首先介紹下我的實驗環境。

              System    CentOS release 5.4

              Master mysql192.168.1.121

              Slave mysql192.168.1.108

              Amoeba server   192.168.1.159

架構如如下所示:

101021163639.jpg

我這裏只用了一個從數據庫!


2、安裝配置mysql主從環境,mysql的安裝省略,請自行編譯或者用rpm安裝

###master mysql創建同步用戶

grant replication slave,file on *.* to 'replication'@'192.168.1.108' identified by '123456';

       flush privileges;

####修改mastermy.cnf的配置

log-bin=mysql-bin         #打開mysql二進制日誌
server-id       = 1          #設置mysql_id,主從不能相同
binlog-do-db=test          #設置二進制日誌記錄的庫
binlog-ignore-db=mysql        ##設置二進制日誌不記錄的庫
sync_binlog=1      

####修改slavemy.cnf的配置

log-bin=mysql-bin
server-id       = 2
replicate-do-db=test       #設置同步的庫
replicate-ignore-db=mysql     #設置不同步的庫
log-slave-updates           #同步後記錄二進制日誌
slave-skip-errors=all     
sync_binlog=1

slave-net-timeout=60

分別重啓主從mysqld服務,登錄主mysql,在主上執行flush tables with read lock;後將test數據庫的數據copy到從上,並記錄下主上show master status\G的結果:

如:

mysql> show master status\G;

*************************** 1. row ***************************

            File: mysql-bin.000022

        Position: 1237

                  Binlog_Do_DB: test

Binlog_Ignore_DB: mysql

              然後執行unlock tables

              登錄從mysql,在從上執行:

stop slave;

change master to master_host='192.168.1.121',master_user='replication',master_password='123456',master_log_file='mysql-bin.000022', master_log_pos=1237;

start slave

show slave status\G;

              如果出現下面的情況,說明主從同步已經成功!

             Slave_IO_Running: Yes

             Slave_SQL_Running: Yes

3、安裝JDK環境

       下載jdk1.5或者更新版本,地址 http://java.sun.com/javase/downloads/index.jsp

       我用的是:jdk-6u20-linux-i586-rpm.bin

       Amoeba server上執行

chmod +x jdk-6u20-linux-i586-rpm.bin

./ jdk-6u20-linux-i586-rpm.bin

##然後按n次空格鍵,然後輸入yes就可以了!^_ ^

ln -s /usr/java/jdk1.6.0_20/ /usr/java/jdk1.6

vi /etc/profile

#添加如下兩行內容

export JAVA_HOME=/usr/java/jdk1.6

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

#執行下面的命令使更改的內容生效

source /etc/profile

 

4、  安裝amoeba-mysql

下載amoeba-mysql,目前最新版本爲amoeba-mysql-1.3.1-BETA.zip

mkdir /usr/local/amoeba/

wget http://blogimg.chinaunix.net/blog/upfile2/101027160252.zip

unzip 101027160252.zip

配置文件位於conf目錄下,執行文件位於bin目錄下,解壓後發現bin目錄下的啓動文件沒有可執行權限,請執行:chmod -R +x /usr/local/amoeba/bin/

Amoeba For MySQL 的使用非常簡單,所有的配置文件都是標準的XML 文件,總共有四個配置文件。分別爲:

amoeba.xml:主配置文件,配置所有數據源以及Amoeba 自身的參數設置;實現主從的話配置這個文件就可以了;

rule.xml:配置所有Query 路由規則的信息;

functionMap.xml:配置用於解析Query 中的函數所對應的Java 實現類;

rullFunctionMap.xml:配置路由規則中需要使用到的特定函數的實現類;

下面我們就來通過更改amoeba.xml配置文件實現mysql主從讀寫分離,我的配置如下:

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

    <server>
        <!-- proxy server綁定的端口 -->
        <property name="port">8066</property>
        
        <!-- proxy server綁定的IP -->
        <property name="ipAddress">192.168.1.110</property>
        <!-- proxy server net IO Read thread size -->
        <property name="readThreadPoolSize">20</property>
        
        <!-- proxy server client process thread size -->
        <property name="clientSideThreadPoolSize">30</property>
        
        <!-- mysql server data packet process thread size -->
        <property name="serverSideThreadPoolSize">30</property>
        
        <!-- socket Send and receive BufferSize(unit:K)  -->
        <property name="netBufferSize">128</property>
        
        <!-- Enable/disable TCP_NODELAY (disable/enable Nagle's algorithm). -->
        <property name="tcpNoDelay">true</property>
        
        <!-- 對外驗證的用戶名 -->
        <property name="user">root</property>
        
        <!-- 對外驗證的密碼 -->
        <property name="password">password</property>
        
        <!-- query timeout( default: 60 second , TimeUnit:second) -->
        <property name="queryTimeout">60</property>
    </server>
    
    <!-- 
        每個ConnectionManager都將作爲一個線程啓動。
        manager負責Connection IO讀寫/死亡檢測
    -->
    <connectionManagerList>
        <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
            <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>
            
            <!-- 
              default value is avaliable Processors 
            <property name="processors">5</property>
             -->
        </connectionManager>
    </connectionManagerList>
    
    <dbServerList>
        <!-- 
            一臺mysqlServer 需要配置一個pool,
            如果多臺 平等的mysql需要進行loadBalance, 
            平臺已經提供一個具有負載均衡能力的objectPool:com.meidusa.amoeba.mysql.server.MultipleServerPool
            簡單的配置是屬性加上 virtual="true",該Pool 不允許配置factoryConfig
            或者自己寫一個ObjectPool。
        -->
        <dbServer name="server1">
            
            <!-- PoolableObjectFactory實現類 -->
            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                <property name="manager">defaultManager</property>
                
                <!-- 真實mysql數據庫端口 -->
                <property name="port">3306</property>
                
                <!-- 真實mysql數據庫IP -->
                <property name="ipAddress">192.168.1.121</property>
                <property name="schema">test</property>
                
                <!-- 用於登陸mysql的用戶名 -->
                <property name="user">zhang</property>
                
                <!-- 用於登陸mysql的密碼 -->
                
                <property name="password">zhang123</property>
                
            </factoryConfig>
            
            <!-- ObjectPool實現類 -->
            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                <property name="maxActive">200</property>
                <property name="maxIdle">200</property>
                <property name="minIdle">10</property>
                <property name="minEvictableIdleTimeMillis">600000</property>
                <property name="timeBetweenEvictionRunsMillis">600000</property>
                <property name="testOnBorrow">true</property>
                <property name="testWhileIdle">true</property>
            </poolConfig>
        </dbServer>
        

        <dbServer name="server2">
            
            <!-- PoolableObjectFactory實現類 -->
            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                <property name="manager">defaultManager</property>
                
                <!-- 真實mysql數據庫端口 -->
                <property name="port">3306</property>
                
                <!-- 真實mysql數據庫IP -->
                <property name="ipAddress">192.168.1.108</property>
                <property name="schema">test</property>
                
                <!-- 用於登陸mysql的用戶名 -->
                <property name="user">zhang</property>
                
                <!-- 用於登陸mysql的密碼 -->
                
                <property name="password">zhang123</property>
                
            </factoryConfig>
            
            <!-- ObjectPool實現類 -->
            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                <property name="maxActive">200</property>
                <property name="maxIdle">200</property>
                <property name="minIdle">10</property>
                <property name="minEvictableIdleTimeMillis">600000</property>
                <property name="timeBetweenEvictionRunsMillis">600000</property>
                <property name="testOnBorrow">true</property>
                <property name="testWhileIdle">true</property>
            </poolConfig>
        </dbServer>

        
        <dbServer name="master" virtual="true">
            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                <!-- 負載均衡參數 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                <property name="loadbalance">1</property>
                
                <!-- 參與該pool負載均衡的poolName列表以逗號分割 -->
                <property name="poolNames">server1</property>
            </poolConfig>
        </dbServer>

        <dbServer name="slave" virtual="true">
            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                <!-- 負載均衡參數 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                <property name="loadbalance">1</property>
                
                <!-- 參與該pool負載均衡的poolName列表以逗號分割 -->
                <property name="poolNames">server1,server2</property>
            </poolConfig>
        </dbServer>
        
    </dbServerList>
    
    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
        <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property>
        <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property>
        <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>
        <property name="LRUMapSize">1500</property>
        <property name="defaultPool">master</property>
        
        <property name="writePool">master</property>
        <property name="readPool">slave</property>
        <property name="needParse">true</property>
    </queryRouter>
</amoeba:configuration>

啓動amoeba

/usr/local/amoeba/bin/amoeba&

檢驗啓動是否成功(使用的是默認的8066端口):

[root@Centos2 amoeba]# ps aux | grep amoeba

root     24580  0.2 19.2 408912 49264 pts/1    Sl   12:52   0:11 /usr/java/jdk1.6/bin/java -server -Xms256m -Xmx256m -Xss128k -Damoeba.home=/usr/local/amoeba -Dclassworlds.conf=/usr/local/amoeba/bin/amoeba.classworlds -classpath /usr/local/amoeba/lib/classworlds-1.0.jar org.codehaus.classworlds.Launcher

[root@Centos2 amoeba]# netstat -lnp | grep java

tcp        0      0 ::ffff:192.168.1.159:8066   :::*                        LISTEN      24580/java

5、  測試

測試之前先要保證amoeba-server有訪問兩個主從服務器test庫的權限,在主從mysql上都執行:

grant all on test.* to zhang@'192.168.1.%' identified by 'zhang123';

#用戶名密碼要和前面配置的意志

flush privileges;

測試的時候和我們平時使用一樣,amoeba-mysql對我們應用透明,就是個mysql的代理了!

登錄mysql使用如下命令(用戶名密碼和上面配置的要一致):

mysql -uroot -ppassword -h192.168.1.159 -P8066

登錄上去後,爲了測試讀和寫必須,先把mysql的主從複製停掉,才能更清楚地看出讀寫的服務器是哪臺,在從上使用stop slave;登錄到amoeba-mysql上,使用命令mysql -uroot -ppassword -h192.168.1.159 -P8066,然後執行寫和讀操作,查看寫的是哪臺服務器,讀的是哪臺服務器,實驗結果顯示:寫只在主上進行,讀在主和從都進行,比率是1:1


測試步驟:

還沒有停掉從同步之前,創建一個表:

create table zhang (id int(10) ,name varchar(10),address varchar(20));

在從上執行stop slave;

然後在主從上各插入一條不同數據(供測試讀的時候用),

在主上插入:insert into zhang values('1','zhang','this_is_master');

在從上插入:insert into zhang values('2','zhang','this_is_slave');

接下來通過登錄amoeba-mysql上來測試讀寫:

[root@Centos2 ~]# mysql -uroot -ppassword -h192.168.1.159 -P8066

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 14556042

Server version: 5.1.45-mysql-amoeba-proxy-1.3.1-BETA Source distribution

 

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

 

mysql> use test;

Database changed

mysql> select * from zhang;    ###第一次執行顯示在主上讀取的數據!

+------+-------+----------------+

| id   | name  | address        |

+------+-------+----------------+

|    1 | zhang | this_is_master |

+------+-------+----------------+

1 row in set (0.02 sec)

 

mysql> select * from zhang;         ####第二次執行select語句顯示是在從上讀取的數據

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

1 row in set (0.02 sec)

mysql> insert into zhang values('3','hhh','test_write');               ###插入一條數據,然後查詢

Query OK, 1 row affected (0.01 sec)

mysql> select * from zhang;                ###我們可以看到插入的數據被添加到了主上!

+------+-------+----------------+                   ####可以多插入幾次數據看看是否會出現錯誤!

| id   | name  | address        |

+------+-------+----------------+

|    1 | zhang | this_is_master |

|    3 | hhh   | test_write     |

+------+-------+----------------+

mysql> select * from zhang;                ###從上還是沒有插入,因爲執行了stop slave

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

 

6、  簡單主從權重配置

大家可能會想到,我們加入只有兩臺數據庫服務器,一臺主,一臺從,按照上面的配置只能是主和從的讀取比率是1:1,而寫又全部在主上進行,這樣主的壓力就很大了,所以如果能讓主和從的讀設置權重,比如設置成1:3,這樣就可以很好的解決主從不壓力均衡的問題!通過研究確實可以!

配置就是將上面的讀的池的配置更改一下:

<property name="poolNames">server1,server2</property>更改成

<property name="poolNames">server1,server2,server2,server2</property>

我測試的結果剛好爲1:3,如下:

mysql> select * from zhang;

+------+-------+----------------+

| id   | name  | address        |

+------+-------+----------------+

|    1 | zhang | this_is_master |

|    3 | hhh   | test_write     |

+------+-------+----------------+

2 rows in set (0.01 sec)

 

mysql> select * from zhang;

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

1 row in set (0.04 sec)

 

mysql> select * from zhang;

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

1 row in set (0.01 sec)

 

mysql> select * from zhang;

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+


學習鏈接:

開發者博客鏈接: http://amoeba.sourceforge.net/wordpress/

      amoeba 中文文檔下載地址:http://amoeba.meidusa.com/amoeba.pdf

      amoeba 未來發展方向:http://amoeba.meidusa.com/amoeba-big-picture.pdf


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章