服務發現之美:Consul集羣搭建

  近幾年隨着Docker容器技術、微服務等架構的興起,人們開始意識到服務發現的必要性。微服務架構簡單來說,是一種以一些微服務來替代開發單個大而全應用的方法, 每一個小服務運行在自己的進程裏,並以輕量級的機制來通信, 通常是 HTTP RESTful API。微服務強調小快靈, 任何一個相對獨立的功能服務不再是一個模塊, 而是一個獨立的服務。那麼,當我們需要訪問這個服務時,如何確定它的地址呢?這時就需要服務發現了。

  Consul 是 HashiCorp 公司推出的開源工具,用於實現分佈式系統的服務發現與配置。通常拿來和zookeeper、etcd這些服務註冊與發現的工具進行比較。Consul更像一個“全棧”解決方案,內置了服務註冊與發現,具有健康檢查、Key/Value存儲、多數據中心的功能。個人比較偏愛他有三點:1、開箱即用,方便運維:安裝包僅包含一個可執行文件,方便部署,無需其他依賴,與Docker等輕量級容器可無縫配合 。2、自帶ui界面,可以通過web界面直接看到註冊的服務,更新K/V。3、採用GOSSIP協議進行集羣內成員的管理和消息的傳播,使用和etcd一樣的raft協議保證數據的一致性。

  Consul提供的四個關鍵特性:

1、服務發現。提供HTTP和DNS兩種發現方式。

2、健康監測。支持多種方式,HTTP、TCP、Docker、Shell腳本定製化監控。

3、KV存儲。Key、Value的存儲方式。

4、多數據中心。Consul支持多數據中心。

  當然Consul還有很多錦上添花的特性,比如:可視化Web界面配置模板“consul-template”等。

以下是consul ui的頁面展示:

39b900021a5c9f7e1078

consul ui界面

Consul集羣的搭建

集羣架構示意圖:

39bd000077704e6752ba

consul cluster架構

集羣角色

上圖是一個簡單的consul cluster的架構,Consul Cluster有Server和Client兩種角色。不管是Server還是Client,統稱爲Agent,Consul Client是相對無狀態的,只負責轉發RPC到Server,資源開銷很少。Server是一個有一組擴展功能的代理,這些功能包括參與Raft選舉,維護集羣狀態,響應RPC查詢,與其他數據中心交互WAN gossip和轉發查詢給leader或者遠程數據中心。

  在每個數據中心,client和server是混合的。一般建議有3-5臺server。這是基於有故障情況下的可用性和性能之間的權衡結果,因爲越多的機器加入達成共識越慢,Server之間會選舉出一個leader。然而,並不限制client的數量,它們可以很容易的擴展到數千或者數萬臺。

集羣搭建

  這裏以5臺機器搭建一個server集羣,分別爲:

172.30.100.1    consul01

172.30.100.2    consul02

172.30.100.3    consul03

172.30.100.4    consul04

172.30.100.5    consul05

1、創建consul安裝目錄,這裏放到/data/consul目錄下:

root@consul01# mkdir -p /data/consul/data

2、下載對應平臺和版本的consul軟件包並解壓,這裏以0.9.2版本爲例:

root@consul01# cd /data/consul

root@consul01# wget -c https://releases.hashicorp.com/consul/0.9.2/consul_0.9.2_linux_amd64.zip

root@consul01# unzip consul_0.9.2_linux_amd64.zip

官方下載源地址爲:https://releases.hashicorp.com/consul/?_ga=2.141719666.1717434336.1505055948-1038273419.1504238248,請下載自己對應的版本

3、創建consul的啓動配置文件:

root@consul01# vim consul_config.json

{

  "datacenter": "consul-cluster",

  "node_name": "consul01",

  "bind_addr": "172.30.100.1",

  "client_addr": "172.30.100.1",

  "server": true,

  "bootstrap_expect": 5,

  "data_dir": "/data/consul/data",

  "http_config": {

    "response_headers": {

      "Access-Control-Allow-Origin": "*"

    }

  },

  "log_level": "INFO",

  "enable_syslog": true,

  "ports": {

    "http": 8500,

    "dns": 8600,

    "serf_lan": 8301,

    "serf_wan": 8302

  },

  "enable_script_checks": true

}

關鍵參數解釋:

bind_addr: 同命令行的-bind參數,內部集羣通信綁定的地址。默認是‘0.0.0.0’,如果有多塊網卡,需要指定,否則啓動報錯

client_addr:同命令行的-clinet參數,客戶端接口綁定的地址,默認是‘127.0.0.1’;

server:true指定consul agent的模式爲server模式;

bootstrap_expect:同命令行的-bootstrap-expect,集羣預期的server個數,這裏我們有5臺server,設置爲5;不能和    bootstrap參數一同使用。

enable_syslog:啓用則consul的日誌會寫進系統的syslog裏;

enable_script_checks:是否啓用監控檢測腳本。

詳細配置參數解釋見官方鏈接:https://www.consul.io/docs/agent/options.html

其他4個節點的配置,把node_name更改爲自己的即可。

4、啓動consul agent

root@consul01# ./consul agent -config-file consul_config.json -ui

指定配置文件位置,並啓動ui界面。在其他四個節點進行相同的操作

5、把agent加入到集羣

告訴第二個agent,加入到第一個agent裏:

root@consul02#  ./consul join -http-addr http://172.30.100.2:8500 172.30.100.1

在其餘3個節點上,更改自己的http-addr,執行相同的操作,比如在consul03上執行:

root@consul03#  ./consul join -http-addr http://172.30.100.3:8500 172.30.100.1

特別提示:加入集羣的時候,一個consul agent只需要知道集羣中任意一個節點即可,加入到集羣之後,集羣節點之間會根據GOSSIP協議互相發現彼此的關係。

5、集羣檢查

  所有節點都啓動成功之後可以查看集羣成員是否全部加入成功,任意節點上執行命令:

root@consul03#  ./consul members  http://172.30.100.3:8500

Node      Address             Status  Type    Build  Protocol  DC

consul01  172.30.100.1:8301  alive   server  0.9.2  2         consul-cluster

consul02  172.30.100.2:8301  alive   server  0.9.2  2         consul-cluster

consul03  172.30.100.3:8301  alive   server  0.9.2  2         consul-cluster

consul04  172.30.100.4:8301  alive   server  0.9.2  2         consul-cluster

consul05  172.30.100.5:8301  alive   server  0.9.2  2         consul-cluster

6、登陸WEB UI

瀏覽器中輸入http://172.30.100.3:8500,即可看到如上圖所示UI界面。

結語

  現在已經搭建了一個consul集羣,下一步準備寫一下我在實際生產環境中的使用:prometheus監控與consul+consul-template動態添加被監控節點。持續乾貨,歡迎關注。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章