這裏目前只是記錄了我使用過的操作,所以並不完整。
一、kafka啓動(linux環境)
1、單節點啓動(非集羣)
(1)下載kafka安裝包http://kafka.apache.org/downloads,我這裏下載的是kafka_2.11-2.3.0.tgz
(2)解壓(不需要安裝,直接配置可用) tar -xzvf kafka_2.11-2.3.0.tgz
(3)對於單節點kafka,我們配置很簡單,只需在.../kafka_2.11-2.3.0/config 目錄下修改/kafka_2.11-2.3.0/config/server.properties這個配置文件的內容,只需取消#listeners=PLAINTEXT://:9092的註釋,或者重新加一行listeners=PLAINTEXT:[本設備的ip]//:9092,最中修改的結果爲listeners=PLAINTEXT:[本設備的ip]//:9092
(4)啓動zookeeper:.../kafka_2.11-2.3.0/bin/zookeeper-server-start.sh -daemon .../kafka_2.11-2.3.0/config/zookeeper.properties
(5)啓動kafka:.../kafka_2.11-2.3.0/bin/kafka-server-start.sh -daemon .../kafka_2.11-2.3.0/config/server.properties
(6)啓動完成
2、集羣啓動
後面在補充吧~~,下面記錄使用過的命令
二、常用命令
1、創建topic:bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181
--topic 指定topic名字
--replication-factor 指定副本數,因爲我的是集羣環境,這裏副本數就爲3
--partitions 指定分區數,這個參數需要根據broker數和數據量決定,正常情況下,每個broker上兩個partition最好
方法二:
開啓自動創建配置:auto.create.topics.enable=true
使用程序直接往kafka中相應的topic發送數據,如果topic不存在就會按默認配置進行創建。
2、查看有哪些topic:bin/kafka-topics.sh --list --zookeeper localhost:2181
3、查看具體的topic詳細信息:bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe
[root@sdn kafka]# bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic xxx-kafka-topic --describe
Topic:xxx-kafka-topic PartitionCount:1 ReplicationFactor:1 Configs:
Topic: xxx-kafka-topic Partition: 0 Leader: 0 Replicas: 0 Isr: 0