CentOS6.5安裝kafka2

1.安裝JDK8

1.1 下載JDK

https://download.csdn.net/download/qq_35981283/10655412

jdk-8u131-linux-x64.rar解壓後獲得 jdk-8u131-linux-x64.rpm

[root@localhost local]# rpm -ivh --prefix=/local  jdk-8u131-linux-x64.rpm

1.2 配置環境變量編輯用戶目錄下的.bashrc或.profile文件。如果你想在所有用戶的shell下都生效,就編輯/etc/profile文件。同樣都是加入以下內容:

export JAVA_HOME=/local/jdk1.8.0_131
export JRE_HOME=/local/jdk1.8.0_131/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

執行命令:

[root@bogon opt]# source /etc/profile

1.3 驗證JDK是否成功安裝

終端輸入命令:java -version

[root@localhost jdk1.8.0_131]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

說明JDK安裝成功。
2.安裝KAFKA

2.1 下載KAFKA

[root@localhost local]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz 

2.2 解壓

[root@localhost local]# tar zxvf kafka_2.12-2.3.0.tgz 

2.3 啓動Zookeeper

[root@localhost local]# cd kafka_2.12-2.3.0

[root@localhost kafka_2.12-2.3.0# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2.4 啓動Kafka 服務
使用kafka-server-start.sh 啓動kafka 服務:

[root@localhost kafka_2.12-2.3.0]#bin/kafka-server-start.sh config/server.properties

要設置IP地址和端口號,否則外界無法使用IP來訪問KAFKA

在kafka/config目錄下的server.properties配置

listeners=PLAINTEXT://192.168.11.11:9092

2.5 創建topic
使用kafka-topics.sh 創建單分區單副本的topic test:

[root@localhost kafka_2.12-2.3.0]#bin/kafka-topics.sh --create --zookeeper 192.168.11.11:2181 --replication-factor 1 --partitions 1 --topic test

2.6 查看topic:

[root@localhost kafka_2.12-2.3.0]#bin/kafka-topics.sh --list --zookeeper 192.168.11.11:2181 test

2.7 產生消息
使用kafka-console-producer.sh 發送消息:

[root@localhost kafka_2.12-2.3.0]bin/kafka-console-producer.sh --broker-list 192.168.11.11:9092 --topic test 
aaa

bbb

2.8 消費消息
使用kafka-console-consumer.sh 接收消息並在終端打印:

[root@localhost kafka_2.12-2.3.0]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.11.11:9092 --topic test --from-beginning

3.集羣配置
單機多broker 集羣配置
利用單節點部署多個broker。 不同的broker 設置不同的 id,監聽端口及日誌目錄。 例如:

cp config/server.properties config/server-1.properties 
編輯配置:

config/server-1.properties:
    broker.id=1
    port=9093
    log.dir=/tmp/kafka-logs-1
啓動Kafka服務:

bin/kafka-server-start.sh config/server-1.properties &
啓動多個服務,按上文類似方式產生和消費消息。

多機多broker 集羣配置
分別在多個節點按上述方式安裝Kafka,配置啓動多個Zookeeper 實例。 例如: 在10.4.253.22,10.4.253.23,10.4.253.24三臺機器部署,Zookeeper配置如下:

initLimit=5
syncLimit=2
server.1=10.4.253.22:2888:3888
server.2=10.4.253.23:2888:3888
server.3=10.4.253.24:2888:3888
分別配置多個機器上的Kafka服務 設置不同的broke id,zookeeper.connect設置如下:

zookeeper.connect=10.4.253.22:2181,10.4.253.23:2181,10.4.253.24:2181
啓動Zookeeper與Kafka服務,按上文方式產生和消費消息,驗證集羣功能。

本文有些引用自:https://www.cnblogs.com/weifeng1463/p/8873161.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章