kafka集羣搭建

kafka集羣安裝
版本信息:
jdk:jdk1.8.0_171
kafka:kafka_2.12-1.1.0

1、下載安裝文件
http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

2、傳輸文件到linx系統上(centos)
使用FileZilla上次文件到目錄:
/home/hadoop1/soft

3、解壓文件
tar -zxvf kafka_2.12-1.1.0.tgz

4、安裝jdk配置環境變量(見文末)

5、修改zookeeper配置文件和啓動zookeeper
a、首先修改配置文件:
位置:/home/hadoop1/soft/kafka_2.12-1.1.0/config/zookeeper.properties
dataDir=/tmp/zookeeper
b、增加配置參數:
dataLogDir=/tmp/zookeeper/log
tickTime=2000
initLimit=5
syncLimit=2
server.1=192.168.136.140:2888:3888
server.2=192.168.136.138:2888:3888
server.3=192.168.136.139:2888:3888
c、新增標識文件
/tmp/zookeeper
新增myid文件,寫入對應的數字1,2,3
d、啓動zookeeper:
/home/hadoop1/soft/kafka_2.12-1.1.0/bin
sh zookeeper-server-start.sh ../config/zookeeper.properties &

6、修改配置文件and啓動kafka集羣
a、修改配置:
位置:/home/hadoop1/soft/kafka_2.12-1.1.0/config/server.properties
分配brokerid:
broker.id=0
設定kafka生產者端口:
port=9092
主機名:
host.name=192.168.136.140
host.name=192.168.136.138
host.name=192.168.136.139
日誌保存時間:
log.retention.hours=168
改爲:
log.retention.minutes=5
設置zookeeper集羣:
zookeeper.connect=192.168.136.140:2181,192.168.136.138:2181,192.168.136.139:2181
創建日誌目錄:
mkdir /tmp/kafka-logs
 啓動kakfa命令:
/home/hadoop1/soft/kafka_2.12-1.1.0/bin
sh kafka-server-start.sh -daemon ../config/server.properties & 
測試:
telnet 192.168.136.140 9092
telnet 192.168.136.139 9092
telnet 192.168.136.138 9092

問題記錄:
1、使用FileZilla上次文件,報錯“無法啓用傳輸”
因爲當前用戶權限不足,更改了一下目錄,當前用戶可操作的目錄中ok。

<<<<<<<<<<<<<<<<<<<<<<<----4firewall-----
1、檢查狀態
service iptables status 
2、關閉防火牆
service iptables stop 
3、永久關閉
chkconfig iptables off 
<<<<<<<<<<<<<<<<<<<<<<<----3文件權限修改----
1、切換root用戶
2、對設計到的文件夾開發讀寫權限
chmod -R 777 xxx
<<<<<<<<<<<<<<<<<<<<<<<----2安裝telnet server及client-----
1、檢驗是否安裝server
rpm -qa telnet-server 
2、如未安裝,安裝之。
yum install telnet-server 
3、檢查是否安裝client
rpm -qa telnet 
4、如未安裝,安裝之。
yum install telnet
5、安裝完畢後,重啓服務xinetd
service xinetd restart 
6、測試已經打開的端口:
telnet 127.0.0.1 2181
正常顯示如下
Trying 192.168.136.140...
Connected to 192.168.136.140.
Escape character is '^]'.
<<<<<<<<<<<<<<<<<<<<<<<----1、linux系統下jdk安裝-----
1、下載jdk
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、解壓
3、環境變量
vi /etc/profile
/etc/profile文件中添加如下內容:並
source /etc/profile
使之生效

#set java environment
JAVA_HOME=/home/hadoop3/soft/jdk1.8.0_171
JRE_HOME=/home/hadoop3/soft/jdk1.8.0_171/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH


本文爲搭建kafka的記錄,以及過程中遇到的問題,備忘。

如有不妥之處,歡迎討論交流!


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章