storm安裝部署

storm安裝與部署 


一、需要準備的軟件及服務器
1. 下載zookeeper，我選擇的版本是3.4.6 http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/
2. 下載storm，我選擇的版本是0.10.0 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.10.0/apache-storm-0.10.0.tar.gz
3. 下載jdk，我選擇的版本是jdk1.7.tar.gz，並安裝，在/etc/profile配置JAVA_HOME,PATH
4. 服務器三臺：192.168.0.68(supersior)、192.168.0.69(supersior)、192.168.0.70(nimbus),後面以最後一位數字簡稱服務器


二、安裝zookeeper
1. 先安裝jdk，具體步驟略，然後在任意一臺服務器上執行
cp zookeeper-3.4.6 /usr/local/
tar -zxvf zookeeper-3.4.6
ln -s zookeeper-3.4.6 zookeeper
mkdir -p /opt/zkdata  
cd /opt/zkdata  
echo 1 > myid
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg,編輯如下內容： 
  dataDir=/opt/zkdata  
  clientPort=2181  
  server.1=192.168.0.68:2888:3888  
  server.2=192.168.0.69:2888:3888  
  server.3=192.168.0.70:2888:3888  
2. 修改/etc/profile添加環境變量
vim /etc/profile，添加如下內容：
export ZOOKEEPER="/usr/local/zookeeper"
PATH=$JAVA_HOME/bin:$ZOOKEEPER/bin:$PATH
. /etc/profile
3. 最後執行命令：zkServer.sh start  
4. 剩下兩臺機器重複以上步驟，注意myid每臺機器不同

三、安裝Storm
1. 先在任意一臺機器上執行如下命令
cp apache-storm-0.10.0.tar.gz  /usr/local/
tar -zxvf apache-storm-0.10.0.tar.gz
ln -s apache-storm-0.10.0 storm
2.修改/etc/profile文件，
export STORM_PATH="/usr/local/storm"
PATH=$JAVA_HOME/bin:$ZOOKEEPER/bin:$STORM/bin:$PATH  
. /etc/profile
3. mkdir -p /opt/storm/workdir/
4.以上步驟在其他機器上重複執行
5. 爲storm配置storm.yaml。注意：文件中配置項前面須有2個空格
修改storm的conf/storm.yaml文件：
  storm.zookeeper.servers:  
     - "192.168.0.68"  
     - "192.168.0.69"  
     - "192.168.0.70" 
  nimbus.host: "192.168.0.70"  
#配置slot的ip地址。配幾個地址，就有幾個slot(worker)。若提交的topology所聲明的worker數超過當前可用的slot，該topology提交會失敗。
  supervisor.slots.ports:  
     - 6700  
     - 6701  
     - 6702  
 storm.local.dir: "/opt/storm/workdir"  

四、使用storm
1. 在nimbus機器的Storm的bin目錄下執行: storm nimbus  
2. 在nimbus機器上啓動 Storm UI: storm ui  
3. 啓動supervisor: storm supervisor  
4. 打開Storm UI 頁面。http://192.168.0.70:8080  
5. 編寫程序打爲storm-test.jar, 將jar拷到nimbus服務器上
6. 部署topology： storm jar storm-test.jar com.dayun.MyTestTopology  
7. 查看結果。在storm的bin目錄下運行： storm list  
769  [main] INFO  backtype.storm.thrift - Connecting to Nimbus at localhost:6627  
Topology_name        Status     Num_tasks  Num_workers  Uptime_secs  
-------------------------------------------------------------------  
mytest                 ACTIVE     28         3            20          

8. 關閉topology： storm kill mytest