Kafka集羣搭建

前提:zookeeper集羣已搭建完畢(搭建Zookeeper集羣流程可參考:HADOOP 2.x 完全分佈式集羣環境搭建 帖子中關於搭建Zookeeper集羣的部分)
1、解壓安裝包kafka_2.10-0.8.2.2 到指定目錄
2、修改配置文件 kafka_2.10-0.8.2.2/config/server.properties,修改項有:
     (a) broker.id = 0          三臺主機依次爲 0,1,2
     (b)log.dirs=/usr/kafka-logs   此路徑是生產中傳遞給kafka的消息的存放位置
     (c)zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181 配置zookeeper
     (d)auto.leader.rebalance.enable=true  leader的均衡機制
3、同步安裝包到另外兩臺主機。(注意修改broker.id的值,保證broker.id的唯一性)
4、啓動kafka集羣。Kafka集羣並不是master-slaves架構的,所以啓動的時候需要在每個節點上執行如下命令:
nohup /home/kafka_2.10-0.8.2.2/bin/kafka-server-start.sh ../config/server.properties &

測試集羣是否搭建成功:
1、隨便選擇一個kafka節點,創建一個Topic。創建Topic命令:
[root@node1 bin]# /home/kafka_2.10-0.8.2.2/bin/kafka-topics.sh  --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3   --partitions 3 --topic  topic20171129
Created topic "topic20171129".
2、將node1節點作爲一個生產者,執行以下命令後,命令行窗口一直處於接收數據狀態(9092是kafka節點之間默認的rpc端口):
[root@node1 bin]# /home/kafka_2.10-0.8.2.2/bin/kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic topic20171129
[2017-11-29 16:07:37,070] WARN Property topic is not valid (kafka.utils.VerifiableProperties)

3、將node2節點作爲一個消費者,執行以下命令後,命令行窗口一直處於接收數據狀態:
[root@node2 bin]# /home/kafka_2.10-0.8.2.2/bin/kafka-console-consumer.sh --zookeeper node1:2181,node2:2181,node3:2181 --from-beginning --topic topic20171129

4、以上步驟完成後,在生產者窗口中輸入“abc” ,回車, 在消費者窗口中,能同步打印出“abc”,說明集羣搭建成功。


命令補充:
1、列出所有的topic:
[root@node1 bin]# /home/kafka_2.10-0.8.2.2/bin/kafka-topics.sh --list --zookeeper node1:2181,node2:2181,node3:2181
topic20171129
2、查看topic描述:
[root@node1 bin]# /home/kafka_2.10-0.8.2.2/bin/kafka-topics.sh --describe --zookeeper node1:2181,node2:2181,node3:2181   --topic topic20171129
Topic:topic20171129    PartitionCount:3    ReplicationFactor:3    Configs:
    Topic: topic20171129    Partition: 0    Leader: 1    Replicas: 1,2,3    Isr: 1,2,3
    Topic: topic20171129    Partition: 1    Leader: 2    Replicas: 2,3,1    Isr: 2,3,1
    Topic: topic20171129    Partition: 2    Leader: 3    Replicas: 3,1,2    Isr: 3,1,2



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章