zookeeper kafka集羣安裝配置
節點信息
節點主機 | 節點應用 | 節點IP |
|---|---|---|
| kafka01 | zookeeper kafka | 1.1.1.23 |
| kafka02 | zookeeper kafka | 1.1.1.24 |
| kafka03 | zookeeper kafka | 1.1.1.27 |
下載JDK
如果沒有下載Java，請通過訪問以下鏈接並下載最新版本來下載最新版本的JDK。http://www.oracle.com/technetwork/java/javase/downloads/index.html
在所有節點上安裝JDK
#rpm -ivh jdk-8u74-linux-x64.rpm |
|---|
檢查JDK版本
ZooKeeper框架安裝
在計算機上安裝ZooKeeper框架，請訪問以下鏈接並下載最新版本的ZooKeeper。http://zookeeper.apache.org/releases.html
在所有節點上使用以下命令提取tar文件
#tar -zxvf zookeeper-3.4.13.tar.gz -C /usr/local/ #cd /usr/local/zookeeper-3.4.13/conf/ #cp zoo_sample.cfg zoo.cfg |
|---|
編譯配置文件並保存退出
#vim zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/datadir dataLogDir=/data/zookeeper/datalogdir clientPort=2181 maxClientCnxns=300 autopurge.snapRetainCount=3 autopurge.purgeInterval=1 server.1=kafka01:2888:3888 server.2=kafka02:2888:3888 server.3=kafka03:2888:3888 |
|---|
創建zk所需要的目錄路徑
#mkdir -pv /data/zookeeper/datadir #mkdir -pv /data/zookeeper/datalogdir |
|---|
創建zk集羣所需要的編號文件,根據zoo.cfg配置文件中server.1這個編號分別在不同服務器上創建
[root@kafka01 ~]#vim /data/zookeeper/datadir/myid 1 |
|---|
在kafka02服務器上編譯myid文件
[root@kafka02 ~]#vim /data/zookeeper/datadir/myid 2 |
|---|
在kafka03服務器上編譯myid文件
[root@kafka03 ~]#vim /data/zookeeper/datadir/myid 3 |
|---|
啓動ZooKeeper服務器
#cd /usr/local/zookeeper-3.4.13 #bin/zkServer.sh start |
|---|
執行此命令後，您將得到如下所示的響應
停止Zookeeper服務器
連接服務器並執行所有操作後，可以使用以下命令停止zookeeper服務器
#cd /usr/local/zookeeper-3.4.13 #bin/zkServer.sh stop |
|---|
Apache Kafka安裝
要在您的機器上安裝Kafka，請點擊以下鏈接 http://mirrors.hust.edu.cn/apache/kafka/2.1.1/
在所有節點上使用以下命令提取tar文件
#tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/ #cd /usr/local/kafka_2.11-2.1.1/config #cp server.properties{,.bak} |
|---|
創建kafka所需要的目錄路徑
| #mkdir -pv /data/kafka/kafka-logs |
|---|
編譯配置文件並保存退出
#vim server.properties broker.id=1 (每臺服務器根據對應的編號進行修改) listeners=PLAINTEXT://1.1.1.23:9092（每臺修改主機自帶IP ） num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/data/kafka/kafka-logs num.partitions=3 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=48 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181 |
|---|
啓動服務器
通過給出以下命令來啓動服務器
#cd /usr/local/kafka_2.11-2.1.1/ #bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & |
|---|
停止服務器
可以使用以下命令停止服務器
#cd /usr/local/kafka_2.11-2.1.1/ #bin/kafka-server-stop.sh config/server.properties |
|---|