Atlas官方文檔: https://github.com/Qihoo360/Atlas/wiki
Atlas是由 Qihoo 360, Web平臺部基礎架構團隊開發維護的一個基於MySQL協議的數據中間層項目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基礎上,修改了大量bug,添加了很多功能特性。目前該項目在360公司內部得到了廣泛應用,很多MySQL業務已經接入了Atlas平 臺,每天承載的讀寫請求數達幾十億條。
主要功能:
* 讀寫分離
* 從庫負載均衡
* IP過濾
* SQL語句黑白名單
* 自動分表
--------------------------------------------------------------------------------------------------
一、環境
# 本測試環境爲一臺多實例服務器:3306(主),3308(從)
# CentOS版本:
[root@m01/]# cat /etc/redhat-release
CentOSrelease 6.7 (Final)
[root@m01/]# uname -r
2.6.32-573.el6.x86_64
[root@m01/]# /etc/init.d/iptables stop
[root@m01/]# getenforce
Disabled
二、MySQL數據庫創建用戶並授權
# MySQL主從已經配置好之後,主從對Atlas進行授權
mysql> GRANT UPDATE,DELETE,INSERT,SELECT ON *.* TO 'atlas'@'%' IDENTIFIED BY 'atlas';
三、Atlas安裝
CentOS-5.x下載地址
https://github.com/Qihoo360/Atlas/releases/download/2.0.2/Atlas-2.0.2.el5.x86_64.rpm
rpm -ivh Atlas-2.0.2.el5.x86_64.rpm
CentOS-6.x下載地址
https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el5.x86_64.rpm
rpm -ivh Atlas-2.2.1.el5.x86_64.rpm
Atlas安裝後的文件路徑
/usr/local/mysql-proxy/
四、Atlas配置
1. 加密MySQL用戶密碼,獲取的加密串填寫到配置文件的pwds參數中。
/usr/local/mysql-proxy/bin/encrypt atlas
KsWNCR6qyNk=
2. 編輯配置文件
查看源配置文件內容
[root@db01 ~]# egrep -v "^#|^$" /usr/local/mysql-proxy/conf/test.cnf
[mysql-proxy]
admin-username = user
admin-password = pwd
proxy-backend-addresses = 127.0.0.1:3306
pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345
本文編輯的配置文件內容如下:
instance =
配置文件中參數說明(帶#號的爲非必需的配置項目)
管理接口的用戶名
admin-username = user
管理接口的密碼
admin-password = pwd
Atlas後端連接的MySQL主庫的IP和端口,可設置多項,用逗號分隔
proxy-backend-addresses = 172.16.1.51:3306
Atlas後端連接的MySQL從庫的IP和端口,@後面的數字代表權重,用來作負載均衡,若省略則默認爲1,可設置多項,用逗號分隔
proxy-read-only-backend-addresses = 172.16.1.51:3306@1
用戶名與其對應的加密過的MySQL密碼,密碼使用PREFIX/bin目錄下的加密程序encrypt加密,下行的user1和user2爲示例,將其替換爲你的MySQL的用戶名和加密密碼!
pwds = atlas:KsWNCR6qyNk=
設置Atlas的運行方式,設爲true時爲守護進程方式,設爲false時爲前臺方式,一般開發調試時設爲false,線上運行時設爲true,true後面不能有空格。
daemon = true
設置Atlas的運行方式,設爲true時Atlas會啓動兩個進程,一個爲monitor,一個爲worker,monitor在worker意外退出後會自動將其重啓,設爲false時只有worker,沒有monitor,一般開發調試時設爲false,線上運行時設爲true,true後面不能有空格。
keepalive = true
工作線程數,對Atlas的性能有很大影響,可根據情況適當設置
event-threads = 8
日誌級別,分爲message、warning、critical、error、debug五個級別
log-level = message
日誌存放的路徑
log-path = /usr/local/mysql-proxy/log
SQL日誌的開關,可設置爲OFF、ON、REALTIME,OFF代表不記錄SQL日誌,ON代表記錄SQL日誌,REALTIME代表記錄SQL日誌且實時寫入磁盤,默認爲OFF
# sql-log = OFF
慢日誌輸出設置。當設置了該參數時,則日誌只輸出執行時間超過sql-log-slow(單位:ms)的日誌記錄。不設置該參數則輸出全部日誌。
# sql-log-slow = 8
實例名稱,用於同一臺機器上多個Atlas實例間的區分
# instance = test
Atlas監聽的工作接口IP和端口
proxy-address = 0.0.0.0:1234
Atlas監聽的管理接口IP和端口
admin-address = 0.0.0.0:2345
分表設置,此例中person爲庫名,mt爲表名,id爲分表字段,3爲子表數量,可設置多項,以逗號分隔,若不分表則不需要設置該項
# tables = person.mt.id.3
默認字符集,設置該項後客戶端不再需要執行SET NAMES語句
charset = utf8
允許連接Atlas的客戶端的IP,可以是精確IP,也可以是IP段,以逗號分隔,若不設置該項則允許所有IP連接,否則只允許列表中的IP連接
# client-ips = 127.0.0.1, 192.168.1
Atlas前面掛接的LVS的物理網卡的IP(注意不是虛IP),若有LVS且設置了client-ips則此項必須設置,否則可以不設置
# lvs-ips = 192.168.1.1
五:啓動Atlas
啓動
[root@db01 conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test start OK: MySQL-Proxy of test is started [root@db01 conf]# ps -ef | grep mysql-proxy root 21447 1 0 05:45 ? 00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf root 21448 21447 0 05:45 ? 00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf root 21517 21324 0 06:06 pts/0 00:00:00 grep mysql-proxy
關閉
/usr/local/mysql-proxy/bin/mysql-proxyd test stop
注意:
運行文件是:mysql-proxyd(不是mysql-proxy)。
test是conf目錄下配置文件的名字,也是配置文件裏instance項的名字(無後綴),三者需要統 一。(test.cnf == instance的test == 啓動使用的test)
可以使用ps -ef|grep mysql -proxy查看Atlas是否已經啓動或停止。
六、測試
mysql -h10.0.0.51 -P1234 -uatlas -patlas -e "select user,host from mysql.user;" mysql -h127.0.0.1 -P2345 -uuser -ppwd mysql> select * from help; mysql> SELECT * FROM backends; +-------------+------------------+-------+------+ | backend_ndx | address | state | type | +-------------+------------------+-------+------+ | 1 | 172.16.1.51:3306 | up | rw | | 2 | 172.16.1.51:3307 | up | ro | +-------------+------------------+-------+------+
測試讀寫分離,在後端節點執行
tcpdump -i any -s 0 -A -n -p port 3306 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE' tcpdump -i any -s 0 -A -n -p port 3307 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE'
七、Atlas參數備註
instance參數:
同一臺機器上的多個Atlas實例,使用不同的端口,對應不同數據庫,使用各自的配置文件
默認的黑白名單:
不帶where的delete會屏蔽,"sleep"會屏蔽
備註:
1.03版本已經支持set autocommit語句,另外對於python來說需要在連接上後執行一句conn.autocommit(True)
pwds參數
配置MySQL用戶名和對應的加密過的MySQL密碼,密碼使用/usr/local/mysql-proxy/bin/encrypt程序進行加
密,用戶名和密碼用冒號分開,可以使用多個用戶,用逗號空格分隔。
client-ips參數
在引入中間層後,因爲連接DB的是Atlas,所以DB改爲對部署Atlas的機器的IP作訪問授權,而client-ips參
數用來控制連接Atlas的客戶端的IP
lvs-ips參數
比如LVS後面掛接兩臺Atlas,分別叫A和B,LVS去循環檢測A和B的存活,當Atlas檢測到是LVS的IP來請求時
,根據在線或不在線狀態,向LVS的檢測腳本返回不同的值,這裏是設置Atlas前面的LVS的物理網卡的IP。
八、Atlas管理接口使用
語法:mysql -u管理用戶 -p管理密碼 -h127.0.0.1 -P管理端口
mysql -uuser -ppwd -h127.0.0.1 -P2345
查看管理語句參數:
mysql> select * from help;
查看DB狀態:
mysql> select * from backends; +-------------+-------------------+-------+------+------+-------------------+ | backend_ndx | address | state | type | uuid | connected_clients | +-------------+-------------------+-------+------+------+-------------------+ | 1 | 172.16.1.20:3306 | up | rw | NULL | 0 | | 2 | 172.16.1.30:3306 | up | ro | NULL | 0 | +-------------+-------------------+-------+------+------+-------------------+
備註:
connected_clients這個參數有bug,不能正常顯示。
九、Atlas常見問題
1、Atlas多實例啓動問題:
如果配置文件中instance = instance,啓動參數如下:
/usr/local/mysql-proxy/bin/mysql-proxyd instance start
如果配置文件中instance = test,啓動參數如下:
/usr/local/mysql-proxy/bin/mysql-proxyd test start
可以使用mysql-proxy命令啓動,
/usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
備註:
使用腳本啓動時,注意區分bin目錄下面的mysql-proxy 和 mysql-proxyd 。
2、使用Atlas時出現"too many connections"
原因是DB的max_connections設置過小
3、在管理接口發現後端DB的狀態爲down
a、後端DB是否已對Atlas所在機器的IP授權
b、推薦DB的my.cnf裏的max_connect_errors設置爲100000,默認值是10,值太小會影響Atlas對DB的存活檢測,可以修 改my.cnf文件的max_connect_errors參數,或者用下面指令直接修改;
mysql> set global max_connect_errors=100000;
4、主從同步延遲,不能馬上讀數據,可以在SQL語句前增加 /*master*/ ,就可以將讀請求強制發往主庫。