爲什麼MySQL要做主從複製(讀寫分離)?
通俗來講,如果對數據庫的讀和寫都在同一個數據庫服務器中操作,業務系統性能會降低。
爲了提升業務系統性能,優化用戶體驗,可以通過做主從複製(讀寫分離)來減輕主數據庫的負載。
而且如果主數據庫宕機,可快速將業務系統切換到從數據庫上,可避免數據丟失。
MySQL主從複製(讀寫分離)和集羣的區別:
我對MySQL也是剛開始研究,不是很專業。我的理解是:
主從複製(讀寫分離):
一般需要兩臺及以上數據庫服務器即可(一臺用於寫入數據,一臺用於同步主的數據並用於數據查詢操作)。
侷限性:
配置好主從複製之後,同一張表,只能對一個服務器寫操作。如果在從上執行了寫操作,而之後主也操作了這張表,或導致主從不同步;據說可以配置成主主方式,但我還沒有研究到。
主數據庫服務器宕機,需要手動將業務系統切換到從數據庫服務器。無法做到高可用性(除非再通過部署keepalive做成高可用方案)。
集羣是由N臺數據庫服務器組成,數據的寫入和查詢是隨機到任意一臺數據庫服務器的,其他數據庫服務器會自動同步數據庫的操作。
任何一臺數據庫宕機,不會對整個集羣造成大的影響。
侷限性
我經過測試才知道目前mysql集羣版本(MySQL Cluster)只能對NDB存儲引擎的數據進行集羣同步,如果是INNODB或其他的MySQL存儲引擎是不行的。這個也導致了我放棄了在業務系統中應用這種方案。
迴歸正題
MySQL5.6開始主從複製有兩種方式:基於日誌(binlog);基於GTID(全局事務標示符)。
需要注意的是:GTID方式不支持臨時表!所以如果你的業務系統要用到臨時表的話就不要考慮這種方式了,至少目前最新版本MySQL5.6.12的GTID複製還是不支持臨時表的。
所以此篇教程主要是告訴大家如何通過日誌(binlog)方式做主從複製!
Master :192.168.15.141
Slave:192.168.15.142
如何安裝mysql我就不細說了,請看linux下安裝mysql
配置文件
- master
- vi /etc/my.cnf
- [mysqld]
- server-id = 1
- log-bin innodb_flush_log_at_trx_commit=1
- sync_binlog=1
- datadir=/var/lib/mysql
- character-set-server=utf8
- init_connect='SET NAMES utf8'
-
server-id=2
-
datadir=/var/lib/mysql
-
character-set-server=utf8
-
init_connect='SET NAMES utf8'
-
[root@localhost ~]# mysql -uroot -p123456
-
mysql> GRANT REPLICATION SLAVE ON *.* TO '<root>'@'<192.168.15.142>' IDENTIFIED BY '<123456>';
-
Query OK, 0 rows affected (0.10 sec)
-
[root@localhost ~]# mysql -uroot -p -h127.0.0.1 -P3306< test.sql
-
Enter password:
-
You have mail in /var/spool/mail/root
-
mysql> CHANGE MASTER TO MASTER_HOST='192.168.15.141',MASTER_USER='root',MASTER_PASSWORD='new-password',MASTER_LOG_FILE='mysqlmaster-bin.000001',MASTER_LOG_POS=3931
-
mysql> START slave;
-
Query OK, 0 rows affected (0.74 sec)
-
MySQL主從複製與讀寫分離
MySQL主從複製(Master-Slave)與讀寫分離(MySQL-Proxy)實踐
Mysql作爲目前世界上使用最廣泛的免費數據庫,相信所有從事系統運維的工程師都一定接觸過。但在實際的生產環境中,由單臺Mysql作爲獨立的數據庫是完全不能滿足實際需求的,無論是在安全性,高可用性以及高併發等各個方面。
因此,一般來說都是通過 主從複製(Master-Slave)的方式來同步數據,再通過讀寫分離(MySQL-Proxy)來提升數據庫的併發負載能力 這樣的方案來進行部署與實施的。
如下圖所示:
下面是我在實際工作過程中所整理的筆記,在此分享出來,以供大家參考。
一、MySQL的安裝與配置
具體的安裝過程,建議參考我的這一篇文章:http://heylinux.com/archives/993.html
值得一提的是,我的安裝過程都是源碼包編譯安裝的,並且所有的配置與數據等都統一規劃到了/opt/mysql目錄中,因此在一臺服務器上安裝完成以後,可以將整個mysql目錄打包,然後傳到其它服務器上解包,便可立即使用。
二、MySQL主從複製
場景描述:
主數據庫服務器:192.168.10.130,MySQL已經安裝,並且無應用數據。
從數據庫服務器:192.168.10.131,MySQL已經安裝,並且無應用數據。
2.1 主服務器上進行的操作
啓動mysql服務
/opt/mysql/init.d/mysql start
通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'
授權給從數據庫服務器192.168.10.131
mysql> GRANT REPLICATION SLAVE ON *.* to 'rep1'@'192.168.10.131' identified by ‘password’;
查詢主數據庫狀態
Mysql> show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000005 | 261 | | |
+------------------+----------+--------------+------------------+
記錄下 FILE 及 Position 的值,在後面進行從服務器操作的時候需要用到。
2.2 配置從服務器
修改從服務器的配置文件/opt/mysql/etc/my.cnf
將 server-id = 1修改爲 server-id = 10,並確保這個ID沒有被別的MySQL服務所使用。
啓動mysql服務
/opt/mysql/init.d/mysql start
通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'
執行同步SQL語句
mysql> change master to
master_host=’192.168.10.130’,
master_user=’rep1’,
master_password=’password’,
master_log_file=’mysql-bin.000005’,
master_log_pos=261;
正確執行後啓動Slave同步進程
mysql> start slave;
主從同步檢查
mysql> show slave status\G
==============================================
**************** 1. row *******************
Slave_IO_State:
Master_Host: 192.168.10.130
Master_User: rep1
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 415
Relay_Log_File: localhost-relay-bin.000008
Relay_Log_Pos: 561
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: YES
Slave_SQL_Running: YES
Replicate_Do_DB:
……………省略若干……………
Master_Server_Id: 1
1 row in set (0.01 sec)
==============================================
其中Slave_IO_Running 與 Slave_SQL_Running 的值都必須爲YES,才表明狀態正常。
如果主服務器已經存在應用數據,則在進行主從複製時,需要做以下處理:
(1)主數據庫進行鎖表操作,不讓數據再進行寫入動作
mysql> FLUSH TABLES WITH READ LOCK;
(2)查看主數據庫狀態
mysql> show master status;
(3)記錄下 FILE 及 Position 的值。
將主服務器的數據文件(整個/opt/mysql/data目錄)複製到從服務器,建議通過tar歸檔壓縮後再傳到從服務器解壓。
(4)取消主數據庫鎖定
mysql> UNLOCK TABLES;
2.3 驗證主從複製效果
主服務器上的操作
在主服務器上創建數據庫first_db
mysql> create database first_db;
Query Ok, 1 row affected (0.01 sec)
在主服務器上創建表first_tb
mysql> create table first_tb(id int(3),name char(10));
Query Ok, 1 row affected (0.00 sec)
在主服務器上的表first_tb中插入記錄
mysql> insert into first_tb values (001,’myself’);
Query Ok, 1 row affected (0.00 sec)
在從服務器上查看
mysql> show databases;
=============================
+--------------------+
| Database |
+--------------------+
| information_schema |
| first_db |
| mysql |
| performance_schema |
| test |
+--------------------+
5 rows in set (0.01 sec)
=============================
數據庫first_db已經自動生成
mysql> use first_db
Database chaged
mysql> show tables;
=============================
+--------------------+
| Tables_in_first_db |
+--------------------+
| first_tb |
+--------------------+
1 row in set (0.02 sec)
=============================
數據庫表first_tb也已經自動創建
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
記錄也已經存在
由此,整個MySQL主從複製的過程就完成了,接下來,我們進行MySQL讀寫分離的安裝與配置。
三、MySQL讀寫分離
場景描述:
數據庫Master主服務器:192.168.10.130
數據庫Slave從服務器:192.168.10.131
MySQL-Proxy調度服務器:192.168.10.132
以下操作,均是在192.168.10.132即MySQL-Proxy調度服務器 上進行的。
3.1 MySQL的安裝與配置
具體的安裝過程與上文相同。
3.2 檢查系統所需軟件包
通過 rpm -qa | grep name 的方式驗證以下軟件包是否已全部安裝。
gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libmcrypt* libtool* flex* pkgconfig*
libevent* glib*
若缺少相關的軟件包,可通過yum -y install方式在線安裝,或直接從系統安裝光盤中找到並通過rpm -ivh方式安裝。
3.3 編譯安裝lua
MySQL-Proxy的讀寫分離主要是通過rw-splitting.lua腳本實現的,因此需要安裝lua。
lua可通過以下方式獲得
從http://www.lua.org/download.html下載源碼包
從rpm.pbone.net搜索相關的rpm包
download.fedora.redhat.com/pub/fedora/epel/5/i386/lua-5.1.4-4.el5.i386.rpm
download.fedora.redhat.com/pub/fedora/epel/5/x86_64/lua-5.1.4-4.el5.x86_64.rpm
這裏我們建議採用源碼包進行安裝
cd /opt/install
wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zvfx lua-5.1.4.tar.gz
cd lua-5.1.4
vi src/Makefile
在 CFLAGS= -O2 -Wall (MYCFLAGS)這一行記錄里加上−fPIC,更改爲CFLAGS=−O2−Wall−fPIC(MYCFLAGS)這一行記錄里加上−fPIC,更改爲CFLAGS=−O2−Wall−fPIC(MYCFLAGS) 來避免編譯過程中出現錯誤。
make linux
make install
cp etc/lua.pc /usr/lib/pkgconfig/
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig
3.4 安裝配置MySQL-Proxy
MySQL-Proxy可通過以下網址獲得:
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/
推薦採用已經編譯好的二進制版本,因爲採用源碼包進行編譯時,最新版的MySQL-Proxy對automake,glib以及libevent的版本都有很高的要求,而這些軟件包都是系統的基礎套件,不建議強行進行更新。
並且這些已經編譯好的二進制版本在解壓後都在統一的目錄內,因此建議選擇以下版本:
32位RHEL5平臺:
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
64位RHEL5平臺:
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz
測試平臺爲RHEL5 32位,因此選擇32位的軟件包
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
mv mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy
創建mysql-proxy服務管理腳本
mkdir /opt/mysql-proxy/init.d/
vim mysql-proxy
01 | #!/bin/sh |
02 | # |
03 | # mysql-proxy This script starts and stops the mysql-proxy daemon |
04 | # |
05 | # chkconfig: - 78 30 |
06 | # processname: mysql-proxy |
07 | # description: mysql-proxy is a proxy daemon to mysql |
08 |
09 | # Source function library. |
10 | . /etc/rc.d/init.d/functions |
11 |
12 | #PROXY_PATH=/usr/local/bin |
13 | PROXY_PATH=/opt/mysql-proxy/bin |
14 |
15 | prog="mysql-proxy" |
16 |
17 | # Source networking configuration. |
18 | . /etc/sysconfig/network |
19 |
20 | # Check that networking is up. |
21 | [ ${NETWORKING} = "no" ] && exit 0 |
22 |
23 | # Set default mysql-proxy configuration. |
24 | #PROXY_OPTIONS="--daemon" |
25 | PROXY_OPTIONS="--admin-username=root --admin-password=password --proxy-read-only-backend-addresses=192.168.10.131:3306 --proxy-backend-addresses=192.168.10.130:3306 --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" |
26 | PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid |
27 |
28 | # Source mysql-proxy configuration. |
29 | if [ -f /etc/sysconfig/mysql-proxy ]; then |
30 | . /etc/sysconfig/mysql-proxy |
31 | fi |
32 |
33 | PATH=$PATH:/usr/bin:/usr/local/bin:$PROXY_PATH |
34 |
35 | # By default it's all good |
36 | RETVAL=0 |
37 |
38 | # See how we were called. |
39 | case "$1" in |
40 | start) |
41 | # Start daemon. |
42 | echo -n $"Starting $prog: " |
43 | NICELEVELNICELEVELPROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon --pid-file=$PROXY_PID --user=mysql --log-level=warning --log-file=/opt/mysql-proxy/log/mysql-proxy.log |
44 | RETVAL=$? |
45 | echo |
46 | if [ $RETVAL = 0 ]; then |
47 | touch /var/lock/subsys/mysql-proxy |
48 | fi |
49 | ;; |
50 | stop) |
51 | # Stop daemons. |
52 | echo -n $"Stopping $prog: " |
53 | killproc $prog |
54 | RETVAL=$? |
55 | echo |
56 | if [ $RETVAL = 0 ]; then |
57 | rm -f /var/lock/subsys/mysql-proxy |
58 | rm -f $PROXY_PID |
59 | fi |
60 | ;; |
61 | restart) |
62 | $0 stop |
63 | sleep 3 |
64 | $0 start |
65 | ;; |
66 | condrestart) |
67 | [ -e /var/lock/subsys/mysql-proxy ] && $0 restart |
68 | ;; |
69 | status) |
70 | status mysql-proxy |
71 | RETVAL=$? |
72 | ;; |
73 | *) |
74 | echo "Usage: $0 {start|stop|restart|status|condrestart}" |
75 | RETVAL=1 |
76 | ;; |
77 | esac |
78 |
79 | exit $RETVAL |
腳本參數詳解:
==============================================
PROXY_PATH=/opt/mysql-proxy/bin //定義mysql-proxy服務二進制文件路徑
PROXY_OPTIONS="--admin-username=root \ //定義內部管理服務器賬號
--admin-password=password \ //定義內部管理服務器密碼
--proxy-read-only-backend-addresses=192.168.10.131:3306 \ //定義後端只讀從服務器地址
--proxy-backend-addresses=192.168.10.130:3306 \ //定義後端主服務器地址
--admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua \ //定義lua管理腳本路徑
--proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" \ //定義lua讀寫分離腳本路徑
PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定義mysql-proxy PID文件路徑
NICELEVELNICELEVELPROXY_PATH/mysql-proxy PROXYOPTIONS −−daemon //定義以守護進程模式啓動−−keepalive //使進程在異常關閉後能夠自動恢復−−pid−file=PROXYOPTIONS −−daemon //定義以守護進程模式啓動−−keepalive //使進程在異常關閉後能夠自動恢復−−pid−file=PROXY_PID \ //定義mysql-proxy PID文件路徑
--user=mysql \ //以mysql用戶身份啓動服務
--log-level=warning \ //定義log日誌級別,由高到低分別有(error|warning|info|message|debug)
--log-file=/opt/mysql-proxy/log/mysql-proxy.log //定義log日誌文件路徑
==============================================
cp mysql-proxy /opt/mysql-proxy/init.d/
chmod +x /opt/mysql-proxy/init.d/mysql-proxy
mkdir /opt/mysql-proxy/run
mkdir /opt/mysql-proxy/log
mkdir /opt/mysql-proxy/scripts
配置並使用rw-splitting.lua讀寫分離腳本
最新的腳本我們可以從最新的mysql-proxy源碼包中獲取
cd /opt/install
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz
tar xzvf mysql-proxy-0.8.1.tar.gz
cd mysql-proxy-0.8.1
cp lib/rw-splitting.lua /opt/mysql-proxy/scripts
修改讀寫分離腳本rw-splitting.lua
修改默認連接,進行快速測試,不修改的話要達到連接數爲4時才啓用讀寫分離
vim /opt/mysql-proxy/scripts/rw-splitting.lua
=============================
-- connection pool
if not proxy.global.config.rwsplit then
proxy.global.config.rwsplit = {
min_idle_connections = 1, //默認爲4
max_idle_connections = 1, //默認爲8
is_debug = false
}
end
=============================
修改完成後,啓動mysql-proxy
/opt/mysql-proxy/init.d/mysql-proxy start
3.5 測試讀寫分離效果
創建用於讀寫分離的數據庫連接用戶
登陸主數據庫服務器192.168.10.130,通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'
mysql> GRANT ALL ON *.* TO 'proxy1'@'192.168.10.132' IDENTIFIED BY 'password';
由於我們配置了主從複製功能,因此從數據庫服務器192.168.10.131上已經同步了此操作。
爲了清晰的看到讀寫分離的效果,需要暫時關閉MySQL主從複製功能
登陸從數據庫服務器192.168.10.131,通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'
關閉Slave同步進程
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)
連接MySQL-Proxy
/opt/mysql/bin/mysql -uproxy1 -p'password' -P4040 -h192.168.10.132
登陸成功後,在first_db數據的first_tb表中插入兩條記錄
mysql> use first_db;
Database changed
mysql> insert into first_tb values (007,’first’);
Query Ok, 1 row affected (0.00 sec)
mysql> insert into first_tb values (110,’second’);
Query Ok, 1 row affected (0.00 sec)
查詢記錄
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
通過讀操作並沒有看到新記錄
mysql> quit
退出MySQL-Proxy
下面,分別登陸到主從數據庫服務器,對比記錄信息
首先,檢查主數據庫服務器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
| 007 | first |
+------+------+
| 110 | second |
+------+------+
3 rows in set (0.00 sec)
=============================
兩條新記錄都已經存在
然後,檢查從數據庫服務器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
沒有新記錄存在
由此驗證,我們已經實現了MySQL讀寫分離,目前所有的寫操作都全部在Master主服務器上,用來避免數據的不同步;
另外,所有的讀操作都分攤給了其它各個Slave從服務器上,用來分擔數據庫壓力。
經驗分享:
1.當MySQL主從複製在 show slave status\G 時出現Slave_IO_Running或Slave_SQL_Running 的值不爲YES時,需要首先通過 stop slave 來停止從服務器,然後再執行一次本文 2.1與2.2 章節中的步驟即可恢復,但如果想盡可能的同步更多的數據,可以在Slave上將master_log_pos節點的值在之前同步失效的值的基礎上增大一些,然後反覆測試,直到同步OK。因爲MySQL主從複製的原理其實就是從服務器讀取主服務器的binlog,然後根據binlog的記錄來更新數據庫。
2.MySQL-Proxy的rw-splitting.lua腳本在網上有很多版本,但是最準確無誤的版本仍然是源碼包中所附帶的lib/rw-splitting.lua腳本,如果有lua腳本編程基礎的話,可以在這個腳本的基礎上再進行優化;
3.MySQL-Proxy實際上非常不穩定,在高併發或有錯誤連接的情況下,進程很容易自動關閉,因此打開--keepalive參數讓進程自動恢復是個比較好的辦法,但還是不能從根本上解決問題,因此通常最穩妥的做法是在每個從服務器上安裝一個MySQL-Proxy供自身使用,雖然比較低效但卻能保證穩定性;
4.一主多從的架構並不是最好的架構,通常比較優的做法是通過程序代碼和中間件等方面,來規劃,比如設置對錶數據的自增id值差異增長等方式來實現兩個或多個主服務器,但一定要注意保證好這些主服務器數據的完整性,否則效果會比多個一主多從的架構還要差;
5.MySQL-Cluster 的穩定性也不是太好;
6.Amoeba for MySQL 是一款優秀的中間件軟件,同樣可以實現讀寫分離,負載均衡等功能,並且穩定性要大大超過MySQL-Proxy,建議大家用來替代MySQL-Proxy,甚至MySQL-Cluster。
在實際的生產環境中,對數據庫的讀和寫都在同一個數據庫服務器中,是不能滿足實際需求的。無論是在安全性、高可用性還是高併發等各個方面都是完全不能滿足實際需求的。因此,通過主從複製的方式來同步數據,再通過讀寫分離來提升數據庫的併發負載能力。有點類似於前面我們學習過的rsync,但是不同的是rsync是對磁盤文件做備份,而mysql主從複製是對數據庫中的數據、語句做備份。
如圖所示:
一、 案例前置知識點
1、 mysq支持的複製類型
1) 基於語句的複製。在服務器上執行sql語句,在從服務器上執行同樣的語句,mysql默認採用基於語句的複製,執行效率高。
2) 基於行的複製。把改變的內容複製過去,而不是把命令在從服務器上執行一遍。
3) 混合類型的複製。默認採用基於語句的複製,一旦發現基於語句無法精確複製時,就會採用基於行的複製。
2、 複製的工作過程
1) 在每個事務更新數據完成之前,master在二進制日誌記錄這些改變。寫入二進制日誌完成後,master通知存儲引擎提交事務。
2) Slave將master的binary log複製到其中繼日誌。首先slave開始一個工作線程(I/O),I/O線程在master上打開一個普通的連接,然後開始binlog dump process。binlog dump process從master的二進制日誌中讀取事件,如果已經跟上master,它會睡眠並等待master產生新的事件,I/O線程將這些事件寫入中繼日誌。
3) Sql slave thread(sql從線程)處理該過程的最後一步,sql線程從中繼日誌讀取事件,並重放其中的事件而更新slave數據,使其與master中的數據一致,只要該線程與I/O線程保持一致,中繼日誌通常會位於os緩存中,所以中繼日誌的開銷很小。
如圖所示:
3、 mysql讀寫分離原理
讀寫分離就是在主服務器上修改,數據會同步到從服務器,從服務器只能提供讀取數據,不能寫入,實現備份的同時也實現了數據庫性能的優化,以及提升了服務器安全。
前較爲常見的Mysql讀寫分離分爲以下兩種:
1)基於程序代碼內部實現
在代碼中根據select 、insert進行路由分類,這類方法也是目前生產環境下應用最廣泛的。優點是性能較好,因爲程序在代碼中實現,不需要增加額外的硬件開支,缺點是需要開發人員來實現,運維人員無從下手。
2) 基於中間代理層實現
代理一般介於應用服務器和數據庫服務器之間,代理數據庫服務器接收到應用服務器的請求後根據判斷後轉發到,後端數據庫,有以下代表性的程序。
(1)mysql_proxy。mysql_proxy是Mysql的一個開源項目,通過其自帶的lua腳本進行sql判斷。
(2)Atlas。是由 Qihoo 360, Web平臺部基礎架構團隊開發維護的一個基於MySQL協議的數據中間層項目。它是在mysql-proxy 0.8.2版本的基礎上,對其進行了優化,增加了一些新的功能特性。360內部使用Atlas運行的mysql業務,每天承載的讀寫請求數達幾十億條。支持事物以及存儲過程。
(3)Amoeba。由阿里巴巴集團在職員工陳思儒使用序java語言進行開發,阿里巴巴集團將其用戶生產環境下,但是他並不支持事物以及存數過程。
經過上述簡單的比較,不是所有的應用都能夠在基於程序代碼中實現讀寫分離,像一些大型的java應用,如果在程序代碼中實現讀寫分離對代碼的改動就較大,所以,像這種應用一般會考慮使用代理層來實現,那麼今天就使用Amoeba爲例,完成主從複製和讀寫分離。
-
MySQLProxy介紹
下面使用MySQL官方提供的數據庫代理層產品MySQLProxy搭建讀寫分離。
MySQLProxy實際上是在客戶端請求與MySQLServer之間建立了一個連接池。所有客戶端請求都是發向MySQLProxy,然後經由MySQLProxy進行相應的分析,判斷出是讀操作還是寫操作,分發至對應的MySQLServer上。對於多節點Slave集羣,也可以起做到負載均衡的效果。
實驗圖:
懂的越多,不會的也就越多,知識之路是不斷進取的
mysql主從複製
(超簡單)
怎麼安裝mysql數據庫,這裏不說了,只說它的主從複製,步驟如下:
1、主從服務器分別作以下操作:
1.1、版本一致
1.2、初始化表,並在後臺啓動mysql
1.3、修改root的密碼
2、修改主服務器master:
#vi /etc/my.cnf
[mysqld]
log-bin=mysql-bin //[必須]啓用二進制日誌
server-id=222 //[必須]服務器唯一ID,默認是1,一般取IP最後一段
3、修改從服務器slave:
#vi /etc/my.cnf
[mysqld]
log-bin=mysql-bin //[不是必須]啓用二進制日誌
server-id=226 //[必須]服務器唯一ID,默認是1,一般取IP最後一段
4、重啓兩臺服務器的mysql
/etc/init.d/mysql restart
5、在主服務器上建立帳戶並授權slave:
#/usr/local/mysql/bin/mysql -uroot -pmttang
mysql>GRANT REPLICATION SLAVE ON *.* to 'mysync'@'%' identified by 'q123456'; //一般不用root帳號,“%”表示所有客戶端都可能連,只要帳號,密碼正確,此處可用具體客戶端IP代替,如192.168.145.226,加強安全。
6、登錄主服務器的mysql,查詢master的狀態
mysql>show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000004 | 308 | | |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)
注:執行完此步驟後不要再操作主服務器MYSQL,防止主服務器狀態值變化
7、配置從服務器Slave:
mysql>change master to master_host='192.168.145.222',master_user='mysync',master_password='q123456',
master_log_file='mysql-bin.000004',master_log_pos=308; //注意不要斷開,308數字前後無單引號。
Mysql>start slave; //啓動從服務器複製功能
8、檢查從服務器複製功能狀態:
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.2.222 //主服務器地址
Master_User: mysync //授權帳戶名,儘量避免使用root
Master_Port: 3306 //數據庫端口,部分版本沒有此行
Connect_Retry: 60
Master_Log_File: mysql-bin.000004
Read_Master_Log_Pos: 600 //#同步讀取二進制日誌的位置,大於等於Exec_Master_Log_Pos
Relay_Log_File: ddte-relay-bin.000003
Relay_Log_Pos: 251
Relay_Master_Log_File: mysql-bin.000004
Slave_IO_Running: Yes //此狀態必須YES
Slave_SQL_Running: Yes //此狀態必須YES
......
注:Slave_IO及Slave_SQL進程必須正常運行,即YES狀態,否則都是錯誤的狀態(如:其中一個NO均屬錯誤)。
以上操作過程,主從服務器配置完成。
9、主從服務器測試:
主服務器Mysql,建立數據庫,並在這個庫中建表插入一條數據:
mysql> create database hi_db;
Query OK, 1 row affected (0.00 sec)
mysql> use hi_db;
Database changed
mysql> create table hi_tb(id int(3),name char(10));
Query OK, 0 rows affected (0.00 sec)
mysql> insert into hi_tb values(001,'bobu');
Query OK, 1 row affected (0.00 sec)
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| hi_db |
| mysql |
| test |
+--------------------+
4 rows in set (0.00 sec)
從服務器Mysql查詢:
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| hi_db | //I'M here,大家看到了吧
| mysql |
| test |
+--------------------+
4 rows in set (0.00 sec)
mysql> use hi_db
Database changed
mysql> select * from hi_tb; //查看主服務器上新增的具體數據
+------+------+
| id | name |
+------+------+
| 1 | bobu |
+------+------+
1 row in set (0.00 sec)
10、完成:
編寫一shell腳本,用nagios監控slave的兩個yes(Slave_IO及Slave_SQL進程),如發現只有一個或零個yes,就表明主從有問題了,發短信警報吧。
MySQL的主從複製是通過binlog日誌來實現的,主從複製中的“主”指的是MySQL主服務器上的數據庫,“從”指的是MySQL從服務器上的數據庫,且這種複製是基於數據庫級別的,爲此從服務器中的數據庫名稱必須和主服務器中的數據庫名稱保持一致,那麼,要想實現主從複製,我們至少要有兩個MySQL服務器(最好是兩個MySQL服務器分別位於不同的主機上,或者在一個主機上安裝兩個MySQL,端口不同即可)。
一般來說,MySQL數據庫的主庫和從庫是分佈在不同的主機上。假如,現在我們只有一臺主機,且是windows系統,如何實現MySQL的主從複製呢?方法如下:
這裏我們只介紹 一主一從 的操作方法。
我的電腦已經安裝了 xampp 集成環境(同wamp安裝包類似),可以把它裏面的MySQL服務作爲MySQL的主服務器。那麼,我們還需要在這臺電腦上再安裝一個MySQL,作爲數據庫的從服務器。
我的電腦xampp中已安裝的MySQL版本爲 5.6.20,端口爲3306。
我們需要再安裝一個MySQL(最好安裝同版本和相近版本的,以免出現問題),端口改爲3307,安裝方法見:http://blog.csdn.net/lamp_yang_3533/article/details/52263751
數據庫服務器的參數:
- 主服務器(master): IP爲127.0.0.1,端口爲3306
- 從服務器(slave): IP爲127.0.0.1,端口爲3307
主服務器配置:
修改主服務器的數據庫配置文件(E:\xampp\mysql\bin\my.ini),在 [mysqld] 標籤的最下面,添加如下代碼:
#需要備份的數據庫
binlog-do-db=test
#不需要備份的數據庫
binlog-ignore-db=mysql
#開啓二進制日誌
log-bin=mysql-bin
#服務器id
server-id=1
保存退出,重啓MySQL主服務器。
binlog-do-db用於指定需要同步的數據庫,binlog-ignore-db指定不需要同步的數據庫,如果這兩個參數都不設置,則從服務器會複製主服務器的所有數據庫。
一般不用root賬號作同步賬號,爲此,我們需要在主服務器上創建一個新的用戶(如 user01,密碼爲123456)。
這裏我們用命令行的方式創建,方法如下:
打開cmd,切換至 E:\xampp\mysql\bin,用 root 賬戶連接MySQL主服務器:
mysql -uroot -p -P3306
創建新用戶:
create user 'user01'@'127.0.0.1' identified by '123456';
(@後面的ip地址爲允許連接的客戶端的ip地址。)
然後,給新用戶配置主從複製的權限:
grant replication slave on *.* to 'user01'@'127.0.0.1' identified by '123456';
(@後面的ip地址爲允許連接的客戶端的ip地址,如果改爲 '%',就表示客戶端沒有ip地址的限制)
如果主服務器的數據庫(test)中,已經有數據,我們需要先手動把主服務器中的數據複製到從服務器。方法如下:
在本案例中,我們只備份一個數據庫(test),test中有一個表basic_user,表中也已經有了數據。爲了防止我們複製數據的時候,數據庫test中的數據發生更新,我們需要先鎖定數據庫,命令如下:
flush tables with read lock;
這個命令是全局讀鎖定,它會給主服務器中的所有數據庫都加上讀鎖,這裏順便說一下讀鎖和寫鎖的區別:
- read lock(讀鎖):也叫共享鎖,允許所有的讀操作,但阻塞寫操作,即所有連接只可以讀數據,但不允許寫數據。
- write lock(寫鎖):也叫排它鎖、獨佔鎖,只允許當前連接的讀和寫,不允許其他併發的讀操作和寫操作。
鎖定主服務器的數據庫後,我們在從服務器中,也創建一個數據庫test,並將所有的表(包括表結構和表數據)都導入。
然後,我們執行下面的命令,解鎖:
unlock tables;
查看主服務器的 master 狀態:
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000008 | 498 | test | mysql | |
+------------------+----------+--------------+------------------+-------------------+
從服務器配置:
修改從服務器的數據庫配置文件(E:\mysql\my.ini),在 [mysqld] 標籤的最下面,添加如下代碼:
#端口
port = 3307
#服務器id
server_id = 2
#開啓二進制日誌(從服務器不是必須要開啓二進制日誌)
log-bin=mysql-bin
保存退出,重啓MySQL服務。
連接MySQL從服務器:
mysql -uroot -p -P3307
配置複製的參數:
change master to master_host='127.0.0.1',master_user='user01',master_password='123456',master_port=3306,master_log_file='mysql-bin.000008',master_log_pos=498;
參數詳解:
master_host: 主服務器的IP
master_user: 主服務器上新創建的用戶名
master_password: 用戶的密碼
master_port: 主服務器的端口,如果未曾修改,默認即可。
master_log_file: 主服務器二進制日誌文件的名稱,填寫查看主服務器的master狀態時顯示的File的值
master_log_pos: 日誌的位置,填寫查看主服務器的master狀態時顯示的Position的值
啓動從服務器的slave複製功能:
start slave;
查看從服務器的slave狀態:
mysql> show slave status \G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 127.0.0.1
Master_User: user01
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000009
Read_Master_Log_Pos: 120
Relay_Log_File: hp-PC-relay-bin.000004
Relay_Log_Pos: 283
Relay_Master_Log_File: mysql-bin.000009
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
如果 Slave_IO_Running 和 Slave_SQL_Running 的值都爲 Yes,則說明主從複製的所有配置已成功,即從服務器已經可以自動與主服務器的數據庫數據實現同步了。
此後,只要主服務器的數據有更新(比如:在 test數據庫中新建了一張表或者表中的數據發生了變化),從服務器都會自動與主服務器保持一致。但如果有人刻意改變了從服務器的數據,主服務器中的數據並不會同步更新,除非我們把這兩個MySQL服務器設置爲互爲主從。
懂的越多,不會的也就越多,知識之路是不斷進取的