CentOS-7安裝部署kafka集羣(kafka_2.12-2.5.0)

備忘錄：做個筆記。
記錄：NO.214
本例環境：
        操作系統：CentOS-7-x86_64-DVD-1908
        安裝包：kafka_2.12-2.5.0.tgz
        安裝包：apache-zookeeper-3.5.8-bin.tar.gz
        java環境：jdk 1.8
        遠程連接工具：SecureCRT 8.0
        虛擬機：vmware 12 
        下載地址：http://kafka.apache.org/downloads
1.本例環境說明
        本例使用zookeeper集羣作爲註冊中心管理。
        zookeeper集羣安裝部署請參考博文：CentOS-7安裝部署zookeeper集羣(zookeeper-3.5.8)
        博文地址：https://blog.csdn.net/zhangbeizhen18/article/details/106677217
2.從官網下載kafka
        本例下載版本是：kafka_2.12-2.5.0.tgz
        本例在虛擬機搭建3個kafka節點
3.上傳壓縮包並解壓
        解壓：tar -zxvf  kafka_2.12-2.5.0.tgz
        進入：/home/app目錄在此目錄下新建kfkcluster，kafka集羣相關信息均放在這個目錄下
        命令：mkdir kfkcluster
        將解壓後的kafka_2.12-2.5.0拷貝到kfkcluster下
        命令：cp  -rf kafka_2.12-2.5.0  /home/app/kfkcluster/
4.kafka3個節點
        命名爲kfkconfig-29001、kfkconfig-29002、kfkconfig-29003，後綴數字爲端口
        將kafka_2.12-2.5.0複製爲3份並命名爲3個節點
        命令：
        cp -rf kafka_2.12-2.5.0  kafka-29001
        cp -rf kafka_2.12-2.5.0  kafka-29002
        cp -rf kafka_2.12-2.5.0  kafka-29003
5.修改節點配置（kafka-29001）
        目錄：cd  /home/app/kfkcluster/kafka-29001/config
        編輯：vim server.properties
        修改如下：
        #kafka集羣唯一標識
        broker.id=0
        #kafka集羣的地址
        broker.list=192.168.110.130:29001,192.168.110.130:29002,192.168.110.130:29003
        #本機監聽端口
        port=29001
        host.name=192.168.110.130
        #分區數量
        num.partitions=3
        #隊列中消息持久化存放的位置
        log.dirs=/home/app/kfkcluster/kfkconfig-29001/logs
        #zookeeper集羣
        zookeeper.connect=192.168.110.130:22181,192.168.110.130:22182,192.168.110.130:22183
6.修改節點配置（kafka-29002）
        目錄：cd  /home/app/kfkcluster/kafka-29002/config
        編輯：vim server.properties
        修改如下：
        #kafka集羣唯一標識
        broker.id=1
        #kafka集羣的地址
        broker.list=192.168.110.130:29001,192.168.110.130:29002,192.168.110.130:29003
        #本機監聽端口
        port=29002
        host.name=192.168.110.130
        #分區數量
        num.partitions=3
        #隊列中消息持久化存放的位置
        log.dirs=/home/app/kfkcluster/kfkconfig-29002/logs
        #zookeeper集羣
        zookeeper.connect=192.168.110.130:22181,192.168.110.130:22182,192.168.110.130:22183
7.修改節點配置（kafka-29003）
        目錄：cd  /home/app/kfkcluster/kafka-29003/config
        編輯：vim server.properties
        修改如下：
       #kafka集羣唯一標識
        broker.id=2
        #kafka集羣的地址
        broker.list=192.168.110.130:29001,192.168.110.130:29002,192.168.110.130:29003
        #本機監聽端口
        port=29003
        host.name=192.168.110.130
        #分區數量
        num.partitions=3
        #隊列中消息持久化存放的位置
        log.dirs=/home/app/kfkcluster/kfkconfig-29003/logs
        #zookeeper集羣
        zookeeper.connect=192.168.110.130:22181,192.168.110.130:22182,192.168.110.130:22183
8.創建3個節點的目錄
        進入：cd /home/app/kfkcluster
        創建目錄：kfkconfig-29001、kfkconfig-29002、kfkconfig-29003，
        命令：mkdir kfkconfig-29001、mkdir kfkconfig-29002、mkdir kfkconfig-29003
        進入kfkconfig-29001、kfkconfig-29002、kfkconfig-29003目錄並分別創建logs目錄
        命令：mkdir logs
        日誌目錄：
        kafka-29001節點：/home/app/kfkcluster/kfkconfig-29001/logs
        kafka-29002節點：/home/app/kfkcluster/kfkconfig-29002/logs
        kafka-29003節點：/home/app/kfkcluster/kfkconfig-29003/logs
        在/home/app/kfkcluster截圖：
        
9.啓動zookeeper集羣
        進入目錄啓動（搭建請參考：CentOS-7安裝部署zookeeper集羣(zookeeper-3.5.8)）
        cd /home/app/zkcluster/zookeeper-22181/bin 
        cd /home/app/zkcluster/zookeeper-22182/bin 
        cd /home/app/zkcluster/zookeeper-22183/bin
        啓動命令：sh zkServer.sh start
        關閉命令：sh zkServer.sh stop
        查看zookeeper端口是否啓動：：
        netstat -tlnp | grep java
        截圖：
        
        客戶端連接驗證：
        連接命令：
        sh zkCli.sh -timeout 5000 -server 192.168.110.130:22181
        sh zkCli.sh -timeout 5000 -server 192.168.110.130:22182
        sh zkCli.sh -timeout 5000 -server 192.168.110.130:22183
10.分別進入目錄啓動
        命令：
        cd /home/app/kfkcluster/kafka-29001
        cd /home/app/kfkcluster/kafka-29002
        cd /home/app/kfkcluster/kafka-29003
        啓動命令：
       ./bin/kafka-server-start.sh  ./config/server.properties
        啓動節點kafka-29001截圖            啓動節點kafka-29002截圖
        啓動節點kafka-29003截圖
        查看監聽端口是否啓動：
        命令：netstat -tlnp | grep java
        
11.登入zookeeper
        連接命令：
        sh zkCli.sh -timeout 5000 -server 192.168.110.130:22181
        sh zkCli.sh -timeout 5000 -server 192.168.110.130:22182
        sh zkCli.sh -timeout 5000 -server 192.168.110.130:22183
        登入一個zookeeper節點查看註冊brokers
        
12.創建一個topic
        進入目錄：cd /home/app/kfkcluster/kafka-29001/bin
        創建toptic命令：
        sh kafka-topics.sh --create --zookeeper 192.168.110.130:22181 --replication-factor 3 --partitions 1 --topic demo202006
        截圖：
13.查看topic(使用kafka-topics.sh查看)
        進入目錄：cd /home/app/kfkcluster/kafka-29001/bin
        創建toptic命令：
        sh kafka-topics.sh --zookeeper 192.168.110.130:22181 --describe --topic demo202006
        截圖：
        
14.刪除topic
        命令：
        sh kafka-topics.sh  --delete --zookeeper 192.168.110.130:22181 --topic demo2020_01
15.查看topic(使用zookeeper查看)
        使用zookeeper客戶端登入
        命令：sh zkCli.sh -timeout 5000 -server 192.168.110.130:22181
        查看：ls /brokers/topics
        
16.創建生產者
        本例測試的topic是：demo202006，即生產者往這個topic寫入數據。
        命令：
        sh kafka-console-producer.sh --broker-list 192.168.110.130:29001,192.168.110.130:29002,192.168.110.130:29003 --topic demo202006
       進入並寫入數據：
17.創建消費者
        本例測試的topic是：demo202006，即生產者往這個topic寫入數據。
        命令：
        sh kafka-console-consumer.sh --bootstrap-server 192.168.110.130:29001 --topic demo202006 --from-beginning
        注意：是kafka的ip和地址
        讀出數據：
以上，感謝。