Jstorm 環境搭建
有三種安裝部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最簡單、輕量、穩定比較常用,整體規模不超過300臺,yarn模式外部依賴較重,規模至少30臺,docker比較消耗性能。
standalon模式安裝步驟
搭建外部依賴
搭建jstorm之前需要先搭建外部依賴
1. zookeeper
2. jdk 版本>=1.7
搭建Jstorm集羣
新版本2.4.0
環境: hd-23/hd-24/hd-25
用戶/密碼:jstorm/*
1. 檢查環境
- 檢查機器ip是否返回正確的ip地址
$ hostname -i #查看返回的ip是否是本機ip,如果現實127.0.0.1,則修改/etc/hosts或網卡配置
- 檢查jdk是否安裝以及版本是否高於1.7
$ java -version
2. 解壓安裝包,配置JStorm_Home
unzip jstorm-2.4.0.zip
# 配置環境變量
$ vi ~/.bashrc
export JSTORM_HOME=/home/jstorm/jstorm-2.4.0
export PATH=$PATH:$JSTORM_HOME/bin
# 配置後編譯文件.bashrc
$ source ~/source ~/.bashrc
# 查看是否編譯成功
$ echo $JSTORM_HOME
3. 配置 storm.yaml
配置zookeeper相關的配置項
$ cd /home/jstorm/jstorm-2.4.0/conf/
$ vi storm.yaml
storm.zookeeper.servers:
- "hd-23"
- "hd-24"
- "hd-25"
storm.zookeeper.root: "/jstorm"
storm.local.dir: "/home/jstorm/jstorm-2.4.0/data"
jstorm.log.dir: "/home/jstorm/jstorm-2.4.0/logs"
java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/lib/jdk1.8.0_77/lib"
supervisor.slots.ports:
- 6800
- 6801
- 6802
- 6803
說明:supervisor中的端口不能被佔用,有幾個端口就有幾個worker
==注意:
i.每一行配置開頭必須有空格,否則報錯
ii.zookeeper端口必須一致,默認2181
iii.不能寫hostname只能寫ip 否則報錯==
4.在24.25服務器上重複上述操作。
==必須保證storm.local.dir: “/home/jstorm/jstorm-2.4.0/data”初次安裝時文件夾是空的,否則會出現緩存情況,導致supervisor的值與實際值不符==
5.安裝WEB UI
mkdir ~/.jstorm
cp -f /home/jstorm/jstorm-2.4.0/conf/storm.yaml ~/.jstorm
#編輯文件,在末尾添加一下配置,此處也可以不配置。
ui.clusters:
- {
# 集羣名稱
name: "holly-jstorm",
#Zk根目錄,與上文中的storm.zookeeper.root一致即可
zkRoot: "/jstorm",
zkServers:
[ "hd-23","hd-24","hd-25"],
zkPort: 2181,
}
tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.4.0.war ./
mv ROOT ROOT.old
ln -s jstorm-ui-2.4.0 ROOT
../bin./startup.sh
6. 啓動jstorm
# 在主節點服務器上執行以下命令
$ cd jstorm-2.4.0
$ nohup bin/jstorm nimbus &
# 查看是否啓動成功
$ jps
4346 Bootstrap
4602 NimbusServer
4716 Jps
# 出現NimbusServer,說明主節點已啓動
#也可以查看日誌
$ tail -f logs/nimbus.log
# 去其他節點執行以下命令
$ cd cd jstorm-2.4.0
$ nohup bin/jstorm supervisor &
$ jps
24231 Supervisor
24297 Jps
# 出現Supervisor,說明啓動成功
#也可以查看日誌
$ tail -f logs/supervisor.log
7. 訪問web ui 界面查看jtorm信息
==注意:如果頁面上supervisor 的數量與實際啓動的值不符,則需要將data中的文件清除,重啓==
提交jar
提交jar命令
$ jstorm jar xxx.jar xxx.java params
# xxx.jar jar名稱
# xxx.java 主類入口
# params 參數(配置文件名稱)