zookeeper+kafka集羣部署+storm集羣
一、環境安裝前準備：
準備三臺機器
操作系統：centos6.8
jdk:jdk-8u111-linux-x64.gz
zookeeper:zookeeper-3.4.11.tar.gz
kafka: kafka_2.11-1.0.1.tgz
storm:apache-storm-1.2.2.tar.gz
配置/etc/hosts(三臺上都操作)
vi /etc/hosts
192.168.1.211 canal01
192.168.1.212 canal02
192.168.1.213 canal03
二、jdk安裝（三臺）
2.1解壓軟件
tar zxvf jdk-8u111-linux-x64.gz
mv jdk-8u111-linux-x64 /usr/local/jdk
2.2配置環境變量
vi /etc/profile
#java
JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
環境變量生效
source /etc/profile
三、zookeeper集羣安裝(三臺上操作)
3.1解壓軟件
tar zxvf zookeeper-3.4.11.tar.gz
mv zookeeper-3.4.11 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv mv zoo_sample.cfg zoo.cfg
3.2、配置zoo.cfg
vi zoo.cfg
#修改
dataDir=/usr/local/zookeeper/data
#添加
dataLogDir=/usr/local/zookeeper/logs
server.1=192.168.1.211:2888:3888
server.2=192.168.1.212:2888:3888
server.3=192.168.1.213:2888:3888
3.3、創建目錄
mkdir /usr/local/zookeeper/data
mkdir /usr/local/zookeeper/logs
在192.168.1.211操作
echo "1" >/usr/local/zookeeper/data/myid
在192.168.1.212操作
echo "2" >/usr/local/zookeeper/data/myid
在192.168.1.213操作
echo "3" >/usr/local/zookeeper/data/myid
3.4、啓動zookeeper
cd /usr/local/zookeeper/bin/
./zkServer.sh start
3.5、查看狀態
cd /usr/local/zookeeper/bin/
./zkServer.sh status
注意：查看zookeeper集羣的狀態，出現Mode:follower或是Mode:leader則代表成功
四、kafka集羣安裝（三臺上操作）
4.1解壓軟件
tar zxvf kafka_2.11-1.0.1.tgz
mv kafka_2.11-1.0.1 /usr/local/kafka
4.2配置kafka（在三臺分別操作）
在192.168.1.211操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=0
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
在192.168.1.212操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=1
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
在192.168.1.213操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=2
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
4.3啓動kafka(採用後臺啓動方式)
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server0.properties
查看日誌是否成功
cd /usr/local/kafka/logs
tail -200 kafkaServer.out
以上圖說明成功，沒有報錯
五、storm集羣安裝（三臺都操作）
5.1、解壓軟件
tar zxvf apache-storm-1.2.2.tar.gz
mv apache-storm-1.2.2 /usr/local/storm
5.2、配置storm
cd /usr/local/storm/conf/
vi storm.yaml
##配置
storm.zookeeper.servers:
- "192.168.1.211"
- "192.168.1.212"
- "192.168.1.213"
storm.zookeeper.port: 2181
nimbus.seeds: ["canal01"]
storm.local.dir: "/usr/local/storm/storm-local"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000
5.3、配置環境變量
vi /etc/profile
##storm
export STORM_HOME=/usr/local/storm
export PATH=${STORM_HOME}/bin:$PATH
環境變量生效
source /etc/profile
5.4、啓動storm
在192.168.1.211操作
storm nimbus >/dev/null 2>&1 &
storm ui &
在192.168.1.212操作
storm supervisor >/dev/null 2>&1 &
在192.168.1.213操作
storm supervisor >/dev/null 2>&1 &
訪問strom http://192.168.1.211:8080
