參考:https://www.cnblogs.com/panwenbin-logs/p/10369402.html
https://blog.csdn.net/milhua/article/details/78931672
=================jdk安裝====================
1、安裝jdk
1-1、查看yum -y list java*
1-2、安裝jdk(找到jdk版本,執行yum install -y 命令)
yum install -y java-1.8.0-openjdk-devel.i686
1-3、看看jdk是否安裝成功
java -version
2、jdk安裝遇到的問題---yum命令出現Loaded plugins: fastestmirror和vi無法寫入保存
2-1、yum命令出現Loaded plugins: fastestmirror
原因:fastestmirror無法使用,默認開啓
解決:修改參數fastestmirror.conf文件裏的enabled爲0,表示禁用。
輸入 vi /etc/yum/pluginconf.d/fastestmirror.conf ,修改enabled爲0,保存退出(:wq)
2-2、使用vi命令時,無法保存退出。
原因:改用戶下沒有對fastestmirror.conf文件的寫權限。
解決:可以先查看fastestmirror.conf的權限,退回到fastestmirror.conf目錄,輸入ls -l命令, 結果是--rw - r - r,則表示非root用戶只有讀權限,而root用戶有讀寫權限。將當前用戶切換到Root權限即可,執行命令: su root
3、yum install是不用配置環境變量,已經配好了。
可以使用echo $PATH 和 echo $CLASSPATH 和 echo $JAVA_HOME來查看相對的環境變量(百度很多例子是要配置,看看就好了)。
===============zookeeper集羣搭建=================
1、下載並解壓到指定目錄
#下載
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
#在當前目錄解壓到/usr/local文件下
tar xf zookeeper-3.4.10.tar.gz -C /usr/local
#如果不知道zookeeper-3.4.10.tar.gz在哪裏,可以用命令去查
find -name zookee*
2、zookeeper-3.4.10軟連接關聯zookeeper
# 提供一個zookeeper-3.4.10軟連接關聯zookeeper
# zookeeper-3.4.10和zookeeper 是一樣的 ,改變其中一個就會影響到另外一個
cd /usr/local
ln -sv zookeeper-3.4.10 zookeeper
3、 zoo_sample.cfg拷貝到zoo.cfg
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
4、修改zoo.cfg配置
vim zoo.cfg
#自定義zookeeper日誌文件 目錄是/Data/zookeeper
dataDir=/Data/zookeeper
#server.myid = ip:(leader默認端口2888):(follower默認端口3888)
#zookeeper領導者選舉規則,先比較myid,大的就是leader,myid一直比較sid,大的就是leader
server.1 = 192.168.23.131:2888:3888
server.2 = 192.168.23.132:2888:3888
server.3 = 192.168.23.133:2888:3888
5、創建zookeeper日誌文件和指定myid
#創建存儲zookeeper日誌文件
mkdir -pv /Data/zookeeper
#指定myid,多臺機器就指定不同的id 本次zookeeper的集羣有三臺機器,就1,2,3就好了
echo "1" > /Data/zookeeper/myid
6、zk服務狀態
cd /usr/local/zookeeper/bin
./zkServer.sh start
6-1、開啓zk服務
6-2、檢測zk狀態
./zkServer.sh status
6-3、關閉zk
./zkServer.sh stop
6-4、查看zookeeper是leader還是follower有兩種方法
6-4-1、./zkServer.sh status
6-4-2、 netstat -nlpt | grep -E "2181|2888|3888" , 3888監聽就是follwer , 2888監聽就是leader
6-5、查看日誌
cd /usr/local/zookeeper/bin
tailf zookeeper.out
7、遇到的問題,關閉防火牆 (linux系統不一樣,關閉方法不一樣)
7-1、防火牆篇幅
service iptables status
service iptables start
service iptables stop
設置防火牆自啓動爲關閉
chkconfig iptables off(設置自動啓動爲關閉)
7-2、telnet檢測tcp連接是否異常
yum install telnet nc -y
telnet ip ports
7-3、zookeeper只啓動一、二臺都會是啓動失敗的,最少要三臺纔會啓動成功。
===============kafka集羣搭建=================
1、下載kafka
#下載
wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
#解壓到/usr/local目錄下
tar xf kafka_2.10-0.10.2.1.tgz -C /usr/local
2、創建軟連接
# 提供一個kafka_2.10-0.10.2.1.tgz軟連接關聯kafka
# kafka_2.10-0.10.2.1.tgz和kafka是一樣的 ,改變其中一個就會影響到另外一個
cd /usr/local
ln -sv kafka_2.10-0.10.2.1.tgz kafka
3、修改kafka配置
cd /usr/local/kafka/config
vim server.properties
server.properties文件詳解
修改配置
log.dirs=/Data/kafka-logs
num.partitions=3
broker.id=1 #每一臺機器都不一樣,第二臺機器就是2,第三臺是3
listeners= PLAINTEXT://192.168.23.132:9092
zookeeper.connect=192.168.23.131:2181,192.168.23.132:2181,192.168.23.133:2181
4、創建kafka日誌文件
mkdir -pv /Data/kafka-logs
5、kafka啓動與關閉
#啓動
cd /usr/local/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties
#關閉
cd /usr/local/kafka/bin
./kafka-server-stop.sh
注意:關閉是先必須先關了kafka,再關zookeeper, 如果先關zookeeper的話,就無法關閉kafka。
如果先關了zookeeper的話,就只有強制殺死kafka進程了。
jps
kill -9 5174 (kill -9 進程pid)
6、查看kafka的節點情況,比如查看brokers 、topics、partition
這一點是在zookeeper上查看的
cd /usr/local/zookeeper/bin
./zkCli.sh