kafka集羣的安裝及簡單測試

一、集羣安裝
1、軟件環境
①linux一臺或多臺，大於等於2
②已經搭建好的zookeeper集羣

2、創建目錄並下載安裝軟件
#創建目錄
cd /opt/
mkdir kafka #創建項目目錄
cd kafka
mkdir kafkalogs #創建kafka消息目錄，主要存放kafka消息

#下載軟件
wget  http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

#解壓軟件
tar -zxvf kafka_2.11-0.9.0.1.tgz

3、修改配置文件修改配置文件
進入到config目錄

cd /opt/kafka/kafka_2.11-0.9.0.1/config/
主要關注：server.properties 這個文件即可，我們可以發現在目錄下：
broker.id=0  #當前機器在集羣中的唯一標識，和zookeeper的myid性質一樣
port=19092 #當前kafka對外提供服務的端口默認是9092
host.name=172.22.70.211 #這個參數默認是關閉的，在0.8.1有個bug，DNS解析問題，失敗率的問題。
num.network.threads=3 #這個是borker進行網絡處理的線程數
num.io.threads=8 #這個是borker進行I/O處理的線程數
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄，這個目錄可以配置爲“，”逗號分割的表達式，上面的num.io.threads要大於這個目錄的個數這個目錄，如果配置多個目錄，新創建的topic他把消息持久化的地方是，當前以逗號分割的目錄中，那個分區數最少就放那一個
socket.send.buffer.bytes=102400 #發送緩衝區buffer大小，數據不是一下子就發送的，先回存儲到緩衝區了到達一定的大小後在發送，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收緩衝區大小，當數據到達一定大小後在序列化到磁盤
socket.request.max.bytes=104857600 #這個參數是向kafka請求消息或者向kafka發送消息的請請求的最大數，這個值不能超過java的堆棧大小
num.partitions=1 #默認的分區數，一個topic默認1個分區數
log.retention.hours=168 #默認消息的最大持久化時間，168小時，7天
message.max.byte=5242880  #消息保存的最大值5M
default.replication.factor=2  #kafka保存消息的副本數，如果一個副本失效了，另一個還可以繼續提供服務
replica.fetch.max.bytes=5242880  #取消息的最大直接數
log.segment.bytes=1073741824 #這個參數是：因爲kafka的消息是以追加的形式落地到文件，當超過這個值的時候，kafka會新起一個文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168 ），到目錄查看是否有過期的消息如果有，刪除
log.cleaner.enable=false #是否啓用log壓縮，一般不用啓用，啓用的話可以提高性能
zookeeper.connect=172.22.70.211:2182,172.22.70.213:2182,172.22.70.214:2182 #設置zookeeper的連接端口

上面是參數的解釋，實際的修改項爲：
#broker.id=0  每臺服務器的broker.id都不能相同


#hostname
host.name=172.22.70.211 每臺服務器的都不能相同

#在log.retention.hours=168 下面新增下面三項
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

#設置zookeeper的連接端口
zookeeper.connect=172.22.70.211:2182,172.22.70.213:2182,172.22.70.214:2182

4、啓動
cd /opt/kafka/kafka_2.11-0.9.0.1//bin #進入到kafka的bin目錄
./kafka-server-start.sh -daemon ../config/server.properties
二、測試
bin/kafka-topics.sh --create --zookeeper 172.22.70.211:2182 --replication-factor 2 --partitions 1 --topic shuaige


#創建Topic
./kafka-topics.sh --create --zookeeper 192.168.7.100:12181 --replication-factor 2 --partitions 1 --topic shuaige
#解釋
--replication-factor 2   #複製兩份
--partitions 1 #創建1個分區
--topic #主題爲shuaige

'''在一臺服務器上創建一個發佈者'''
#創建一個broker，發佈者
bin/kafka-console-producer.sh --broker-list 172.22.70.213:9092 --topic shuaige

'''在一臺服務器上創建一個訂閱者'''
bin/kafka-console-consumer.sh --zookeeper 172.22.70.211:2182 --topic shuaige --from-beginning

測試（在發佈者那裏發佈消息看看訂閱者那裏是否能正常收到~）：