MySQL讀寫分離--mysql-proxy和amoeba

MySQL讀寫分離--mysql-proxy和amoeba

靜態分離:直接將服務器地址寫入程序

動態分離:通過代理服務器對數據進行讀寫操作,由代理服務器判定讀寫操作,在主服務器上寫數據,在

          從服務器上讀數據。

好處：只在一臺服務器上進行讀或寫操作，可以減少服務器的工作量，提高效率和服務器性能

進行寫操作時（在代理服務器上操作語句，寫入master），slave利用主從複製同步數據

三臺服務器：主服務器10.0.10.1、從服務器10.0.10.2、代理服務器10.0.10.3

兩種方法實現：使用MySQL-proxy實現、使用amoeba實現

1、使用mysql-proxy實現讀寫分離

  # ./mysql-proxy --proxy-backend-addresses=10.0.10.1:3306 --proxy-read-only-backend-addresses=10.0.10.2:3306 --proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua --daemon --user=mysql --log-level=warning --log-file=/var/log/mysql-proxy.log --max-open-files=2048 --event-threads=4 --proxy-address=10.0.10.3:3306

  --proxy-backend-addresses            指定主服務器地址(寫數據)

  --proxy-read-only-backend-addresses  指定從服務器地址(讀數據)

  --proxy-lua-script                   指定用於讀寫分離的腳本程序

  --daemon                             指定以守護進程的方式運行

  --user=mysql                         指定運行的用戶

  --log-level                          指定日誌記錄級別

  --log-file                           指定日誌文件位置

  --max-open-files                     指定最大可打開的文件數,受操作系統限制

  --event-threads                      設置工作線程數

  --proxy-address                      設置監聽的本機地址和端口

  

  獲取mysql-proxy幫助

  # ./mysql-proxy --help         \\基本選項幫助

  # ./mysql-proxy --help-proxy   \\代理選項幫助

  

  在主從服務器上分別對代理服務器進行授權，使代理服務器能夠使用主從服務器上的此用戶進行連接主從。

  mysql> grant all on *.* to 'repuser'@'10.0.10.3' identified by '123123';

  mysql> flush privileges;

 2、使用amoeba實現讀寫分離

  (1)安裝jdk

     # tar xf jdk-7u51-linux-x64.tar.gz -C /usr/local/

     # mv jdk1.7.0_51 java

  (2)編輯/etc/profile文件,設置java環境變量

     # vim /etc/profile     

     放在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL之前

       JAVA_HOME="/usr/local/java"

       CLASS_PATH="/usr/local/java/jre:/usr/local/java/lib"

       export JAVA_HOME CLASS_PATH

       PATH="$PATH:/usr/local/amoeba/bin:/usr/local/java/bin"

     # source /etc/profile   

  (3)查看和調整java的默認版本

     # java -version

     [root@hello local]# which java

     /usr/bin/java               \\本身有java 的路徑填/usr/bin/java

     # alternatives --install /usr/local/java/bin/java java /usr/local/java/bin/java 100  \\在系統中登記java版本和設置優先級

     # alternatives --display java   \\顯示java信息

     # alternatives --config java    \\設置java的默認版本

  

  (4)安裝和配置amoeba實現讀寫分離

     # unzip amoeba-mysql-3.0.5-RC-distribution.zip -d /usr/local/

     # mv amoeba-mysql-3.0.5-RC amoeba

     

     # vim dbServers.xml    \\定義後端服務器信息    與主從服務器相連

      <property name="sendBufferSize">256</property>    \\設置發送緩衝區大小

      <property name="receiveBufferSize">256</property> \\設置接收緩衝區大小

      <property name="port">3306</property>       \\設置後端服務器端口

      <property name="schema">zz</property>     \\設置代理默認連接的數據庫

      <property name="user">root</property>

      <property name="password">123123</property>  \\設置連接後端服務器的密碼

      ===

      <dbServer name="master1"  parent="abstractServer">  \\定義後端服務器（主服務器）

        <factoryConfig>

           <property name="ipAddress">10.0.10.1</property>

        </factoryConfig>

      </dbServer>

      <dbServer name="slave1"  parent="abstractServer">  \\定義後端服務器 （從服務器）

        <factoryConfig>

           <property name="ipAddress">10.0.10.2</property>

        </factoryConfig>

      </dbServer>

      ===

      <dbServer name="master" virtual="true">   \\定義服務器池

       <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

        <property name="loadbalance">1</property>  \\定義負載均衡算法

       <property name="poolNames">master1</property> \\添加服務器,多個用逗號隔開

       </poolConfig>

      </dbServer>

     <dbServer name="slave" virtual="true">  \\定義服務器池

        <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

           <property name="loadbalance">1</property>

           <property name="poolNames">slave1</property>

        </poolConfig>

     </dbServer>

     ======

     # vim amoeba.xml       \\定義代理信息

     <property name="port">3306</property>   \\設置代理服務器監聽的端口

     <property name="ipAddress">10.0.10.3</property> \\設置代理監聽的地址

     <property name="user">root</property>  \\設置代理服務器使用的用戶名

     <property name="password">123123</property>  \\設置代理服務器使用的密碼

     <property name="defaultPool">master</property>  \\設置默認的服務器池,一般除

        select,insert,update,delete等的其它操作都在默認的服務器進行

     <property name="writePool">master</property>  \\執行寫操作的服務器池

     <property name="readPool">slave</property>    \\執行讀操作的服務器池

     <property name="needParse">true</property>

     

     # vim jvm.properties   \\設置java內存分配信息

     JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss512k -XX:PermSize=32m -XX:MaxPermSize=128m"

  

     # vim access_list.conf  \\定義訪問控制列表

     10.0.10.100:no

     10.0.*.*:yes

   

  (5)啓動amoeba

  #cd /usr/local/amoeba/bin

  #./launcher &

       關閉amoeba

   #./shutdowm

  

  (6)實現數據分割

    水平分割:將關鍵字段按特定的算法存放到不同的服務器

    垂直分割:將數據按業務的不同分別保存到不同的服務器

    

  水平分割  

  # vim rule.xml

  <tableRule name="stu" schema="zz" defaultPools="master1,master2">

      <rule name="rule1">

        <parameters>id</parameters>

        <expression><![CDATA[ id % 2 == 0 ]]></expression>

        <defaultPools>master1</defaultPools>

        <readPools>master1</readPools>

        <writePools>master1</writePools>

      </rule>

                

      <rule name="rule2">

        <parameters>id</parameters>

        <expression><![CDATA[ id % 2 == 1 ]]></expression>

        <defaultPools>master2</defaultPools>

        <writePools>master2</writePools>

        <readPools>master2</readPools>

      </rule>

  </tableRule>

  ====

在代理服務器上操作

[root@stu1024 ~]# mysql -u root -h 10.0.10.3 -paixocm -e "insert into zz.stu(id,name) values(1,'張三')"

[root@stu1024 ~]# mysql -u root -h 10.0.10.3 -paixocm -e "insert into zz.stu(id,name) values(2,'李四')"

[root@stu1024 ~]# mysql -u root -h 10.0.10.3 -paixocm -e "insert into zz.stu(id,name) values(3,'王五')"

[root@stu1024 ~]# mysql -u root -h 10.0.10.3 -paixocm -e "insert into zz.stu(id,name) values(4,'趙六')"

mysql> select * from stu;

+----+--------+

| id | name   |

+----+--------+

|  2 | 李四 |

|  4 | 趙六 |

+----+--------+

mysql> select * from stu;

+----+--------+

| id | name   |

+----+--------+

|  1 | 張三 |

|  3 | 王五 |

+----+--------+

=======  

 垂直分割

  <tableRule name="user_info" schema="weblog" readPools="slave1" writePools="master1" />

  <tableRule name="user_info" schema="webchat" readPools="slave2" writePools="master2"/>