一、kafka簡介
Apache kafka是由Apache軟件基金會開發的一個開源流處理平臺,由Scala和Java編寫。Kafka是一種高吞吐量的
分佈式發佈訂閱消息系統,是消息中間件的一種,用於構建實時數據管道和流應用程序
kafka與zookeeper是配合使用的所以請先部署zookeeper集羣
Kafka官網:http://kafka.apache.org/
由於官網下載較慢,我是在阿里雲鏡像站下載的
阿里鏡像https://opsx.alibaba.com/mirror
二、安裝環境簡介
主機 | IP | 版本 | 端口 | 系統 |
server.1 | 192.168.1.39 | kafka_2.11-1.1.0 zookeeper-3.4.13 | 9092 / 2181 | Centos7.2 |
server.2 | 192.168.1.44 | |||
server.3 | 192.168.1.54 |
IP順序設置或是無序設置均可
三、安裝kafka
1. 下載
wget https://mirrors.aliyun.com/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
2. 解壓到/opt目錄
tar xf kafka_2.11-1.1.0.tgz -C /opt/
3. 進入conf目錄複製配置文件
4. 配置文件修改內容
只需要改以上四點
Broker.id=按zookeeper的myid改爲相應的1 、2 、3
Listeners=設置本機IP
Log.dirs=設置kafka日誌位置,創建/u01目錄即可,kafka-logs會自己創建
Zookeeper.connerct=按zookeeper相應myid順序排序,以冒號分割
5. bin目錄下的啓動腳本
6. 指定配置文件啓動
三臺逐一啓動
7. 檢查端口進程
其他節點同樣
四、驗證