Kafka是一個分佈式的消息發佈訂閱系統，Kafka系統快速、可擴展並且可持久化。它的分區特性，可複製和可容錯都是其不錯的特性。今天先不介紹相關概念了由於項目之前用到這個東西安裝過了段時間怕忘了，抽時間記錄下分佈式記錄搭建過程。這裏用的三臺虛擬機的ip地址爲192.168.70.100~102，由於kafka需要zookeeper來管理，所以搭建kafka集羣的前提是先安裝zookeeper集羣，這裏之前博客有寫zookeeper的搭建，所以直接進入kafka集羣搭建，這裏使用的是kafka_2.11-0.10.2.1這個版本，下載地址在這裏http://kafka.apache.org/downloads
首先根據需要下載指定版本的壓縮包上傳到虛擬機，之後通過tar -zxvf命令解壓縮該壓縮包，進入解壓縮後的config目錄下，修改server.rpoperties配置文件，具體修改見下面，這裏broker.id用來唯一標識一個kafka節點，三個虛擬機分別設置值爲0,1,2,host.name和advertised.host.name在三個虛擬機上分別更改爲各自的ip地址，在這裏也就是更改爲192.168.70.100~102，之後在三臺機器上進行同樣設置zookeeper.connect,這裏將地址更改爲之前安裝的zookeeper集羣所在的ip地址，其中2181爲客戶端監聽的端口號
接下來可以測試了，先在三個虛擬機上執行zkServer.sh start命令啓動zookeeper集羣，之後進入三個虛擬機的kafka解壓縮後的bin目錄，執行./kafka-server-start.sh -daemon ../config/server.properties 使kakfa服務在後臺運行，通過jps命令查看，出現下面這兩個進程表明kafka集羣搭建成功
爲了方便起見可以配置一下kafka的環境變量，配置見下
kafka有生產者，消費者以及topic，其中生產者生產向指定topic發送消息，消費者可以從指定topic接受消息，做個測試
在任意一臺安裝kafka的機器上通過下面這個命令創建一個topic名爲demo，這裏replication-factor設置副本數，partitions指定分區數，同時指定zookeeper集羣的位置
之後可以通過kafka-topics.sh --list --zookeeper Ip地址:2181查看某臺機器上創建的topic都有哪些
接下里在隨便一臺機器上執行下面命令創建一個客戶端生產者向之前創建的demo發送一些信息，在另外兩臺機器上創建兩個客戶端消費者從指定的topic demo獲取信息，執行以後發現生產者發送的消息在消費者那邊成功顯示錶明傳遞成功
kafka-console-producer.sh --broker-list 192.168.70.100:9092,192.168.70.101:9092,192.168.70.102:9092 --topic demo
kafka-console-consumer.sh --zookeeper 192.168.70.100:2181,192.168.70.101:2181,192.168.70.102:2181 --from-beginning --topic demo
以上就是kafka分佈式集羣的簡單搭建，後期可以根據實際需要進行進一步特色化配置，這裏先簡單寫一下