kafka簡介
kafka是Apache開發的一個開源流處理平臺，也目前一種比較成熟的消息系統，被廣泛用作消息中間件（現如今的大數據應用中很多都是採用zookeeper+kafka集羣）。
部署前置條件
- Linux系統中有jdk（或者jre）環境（推薦jdk1.8）
- zookeeper和kafka的安裝包（壓縮包文件）
- kafka安裝包中自帶有zookeeper，本文未選用kafka自帶zookeeper
部署過程
- 上傳zookeeper和kafka安裝包到服務器並解壓
- 配置zookeeper配置文件
$ vim /zookeeper/conf/zoo_sample.cfg - 配置kafka配置文件
$ vim /kafka/config/server.properties - kafka server.properties配置文件中需要注意要註釋掉
listeners=PLAINTEXT://:9092需要放開#port=9092的註釋，放開#host.name=localhost的註釋並改爲實際kafka的ip，修改zookeeper.connect=localhost:2181中的localhost爲zookeeper實際ip。 - 修改好zookeeper和kafka配置文件後，使用
$ ./zookeeper/bin/zkServer.sh start啓動zookeeper（$ ./zookeeper/bin/zkServer.sh stop停止zookeeper），使用$ ./kafka/bin/kafka-server-start.sh ../config/server.properties啓動kafka，看到start成功提示表明kafka成功啓動。 - 執行zookeeper和kafka啓動腳本的命令時，如果提示沒有文件的執行權限，可使用
$ chmod -R /zookeeper和$ /chmod -R /kafka對兩個文件夾所有文件賦予最大權限。
驗證
可以使用kafka tool軟件連接zookeeper讀取kafka消息，注意：如果連接zookeeper超時，看下網絡是否經過vpn。