Storm集羣安裝Version1.0.1開啓Kerberos

原創 木木與呆呆 2019-01-17 13:17

Storm集羣安裝，基於版本1.0.1，
同時開啓Kerberos安全認證，
使用apache-storm-1.0.1.tar.gz安裝包。

1.安裝規劃

角色規劃 IP/機器名 安裝軟件 運行進程
UI, nimbus zdh-237 storm core,nimbus
supervisor zdh-238 storm supervisor,worker,LogWriter
supervisor zdh-239 storm supervisor,worker,LogWriter

Storm集羣有三臺機器，各個角色的安裝規劃如上。

2.安裝用戶

storm/zdh1234
useradd -g hadoop -s /bin/bash -md /home/storm storm

3.安裝依賴

1.JDK
2.Python
3.Zookeeper
4.Kerberos

4.主機名配置

vi /etc/hosts
10.43.159.237 zdh-237
10.43.159.238 zdh-238
10.43.159.239 zdh-239
10.43.159.240 zdh-240

5.JDK安裝

可以使用root用戶安裝的公共jdk，要求JDK 6+，
爲Storm用戶配置JAVA_HOME：

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6.Python安裝

確定系統自帶的Python版本，如果是2.6.6+可以不用再安裝。
python -V
如果版本不對，請參考以下文章安裝或者升級Python:
Python升級至2.7方法

7.Zookeeper安裝

請參考Zookeeper集羣安裝(開啓kerberos)
這裏使用的Zookeeper集羣信息:
zookeeper集羣 zookeeper/zdh1234
zdh-237，zdh-238，zdh-239 端口：12181

8.Kerberos安裝

Kerberos安裝方法請自行百度參考。
這裏使用的Kerberos集羣信息:
Kerberos服務器:
root/zdh1234
zdh-240
Kerberos客戶端:
zdh-237，zdh-238，zdh-239

Kerberos是用於認證用戶的，
Storm安裝集羣上要有keberos的客戶端。

9.Storm安裝

請自行從官網獲取安裝包：
apache-storm-1.0.1.tar.gz
將安裝包上傳到zdh-237的storm用戶下,
解壓安裝包：
tar -zxvf apache-storm-1.0.1.tar.gz
配置環境變量和別名，方便操作：

export STORM_HOME=/home/storm/apache-storm-1.0.1
export PATH=$PATH:$STORM_HOME/bin
alias logs='cd $STORM_HOME/logs'
alias conf='cd $STORM_HOME/conf'

創建本地數據存放的目錄:
mkdir /home/storm/apache-storm-1.0.1/data

10.配置storm.yaml文件

vi conf/storm.yaml
修改爲如下配置，注意字符串需要加上引號，特別是包含/的值：

storm.zookeeper.servers:
    - "zdh-237"
    - "zdh-238"
    - "zdh-239"
storm.zookeeper.port: 12181
storm.local.dir: "/home/storm/apache-storm-1.0.1/data"
nimbus.seeds: ["zdh-237", "zdh-238", "zdh-239"]
nimbus.thrift.port: 6627
ui.port: 18080
logviewer.port: 8000
drpc.port: 3772
drpc.invocations.port: 3773
drpc.http.port: 3774
ui.filter: "org.apache.hadoop.security.authentication.server.AuthenticationFilter"
ui.filter.params:
   "type": "kerberos"
   "kerberos.principal": "HTTP/[email protected]"
   "kerberos.keytab": "/home/storm/apache-storm-1.0.1/conf/HTTP.keytab"
   "kerberos.name.rules": "RULE:[2:$1/$2@$0](.*@ZDH.COM)s/.*/storm/"
ui.header.buffer.bytes: 65536
storm.thrift.transport: "org.apache.storm.security.auth.kerberos.KerberosSaslTransportPlugin"
java.security.auth.login.config: "/home/storm/apache-storm-1.0.1/conf/storm-jaas.conf"
nimbus.childopts: "-Xmx1024m -Djava.security.auth.login.config=/home/storm/apache-storm-1.0.1/conf/storm-jaas.conf"
ui.childopts: "-Xmx768m -Djava.security.auth.login.config=/home/storm/apache-storm-1.0.1/conf/storm-jaas.conf"
supervisor.childopts: "-Xmx256m -Djava.security.auth.login.config=/home/storm/apache-storm-1.0.1/conf/storm-jaas.conf"
storm.principal.tolocal: "org.apache.storm.security.auth.KerberosPrincipalToLocal"
storm.zookeeper.superACL: "sasl:storm"
nimbus.impersonation.authorizer: "org.apache.storm.security.auth.authorizer.ImpersonationAuthorizer"
nimbus.impersonation.acl:
    "storm/[email protected]":
        "hosts":
            ["zdh-237"]
        "groups":
            ["hadoop"]
    "storm/[email protected]":
        "hosts":
            ["zdh-238"]
        "groups":
            ["hadoop"]
    "storm/[email protected]":
        "hosts":
            ["zdh-239"]
        "groups":
            ["hadoop"]

請注意正確配置上面的每一個配置項，
有問題可以參加storm.yaml中對配置項的解釋。

11.創建storm-jaas.conf文件

在/home/storm/apache-storm-1.0.1/conf目錄下，
創建storm-jaas.conf文件內容如下：

StormServer {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   keyTab="/home/storm/apache-storm-1.0.1/conf/storm.keytab"
   storeKey=true
   useTicketCache=false
   principal="storm/[email protected]";
};
StormClient {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   keyTab="/home/storm/apache-storm-1.0.1/conf/storm.keytab"
   storeKey=true
   useTicketCache=false
   serviceName="storm"
   principal="storm/[email protected]";
};
Client {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   keyTab="/home/storm/apache-storm-1.0.1/conf/storm.keytab"
   storeKey=true
   useTicketCache=false
   principal="storm/[email protected]";
};

12.確定要訪問的Zookeeper服務器名稱

上面Client是Storm用來訪問Zookeeper的，
如果未指定serviceName作爲請求對象，
則默認是zookeeper@[email protected]。

StormClient是UI(core)用來訪問nimbus的,
如果指定serviceName="stormkrb"，
則訪問的是stormkrb/[email protected]，
否則默認向TGTServer請求的服務器的
名字爲storm/[email protected]，
即serviceName作用是指定要訪問的AppServer服務器名稱。

Storm使用Zookeeper的客戶端訪問
開啓kerberos的zookeeper服務端時，
如果Zookeeper的服務端的安裝用戶不爲zookeeper,
假設服務器名稱是zookeeperkrb時,
則需要在storm中需要修改storm.yaml中nimbus的進程參數，
指明客戶端需要訪問的服務端的名稱：

nimbus.childopts: "-Xmx1024m -Djava.security.auth.login.config=/home/stormkrb/apache-storm-1.0.1/conf/storm-jaas.conf -Dzookeeper.sasl.client.username=zookeeperkrb"

zookeeperkrb即爲Storm的nimbus要訪問的Zookeeper服務端的名稱，
同時配合storm-jaas.conf的Client配置能夠正確的工作。
Storm的supervisor也是需要訪問zookeeper的，
同步進行修改如下：

supervisor.childopts: "-Xmx256m -Djava.security.auth.login.config=/home/stormkrb/apache-storm-1.0.1/conf/storm-jaas.conf -Dzookeeper.sasl.client.username=zookeeperkrb"

13.創建Storm和HTTP的principal

操作機器：
在zdh-240 Kerberos服務器，
使用root用戶，切換到/root/keytabs目錄，
執行如下操作命令：

kadmin.local
addprinc -randkey storm/[email protected]
addprinc -randkey storm/[email protected]
addprinc -randkey storm/[email protected]
xst -k storm.keytab storm/[email protected]
xst -k storm.keytab storm/[email protected]
xst -k storm.keytab storm/[email protected]

addprinc -randkey HTTP/[email protected]
addprinc -randkey HTTP/[email protected]
addprinc -randkey HTTP/[email protected]
xst -k HTTP.keytab HTTP/[email protected]
xst -k HTTP.keytab HTTP/[email protected]
xst -k HTTP.keytab HTTP/[email protected]
exit

把storm.keytab和HTTP.keytab拷貝到storm的conf目錄下:

scp storm.keytab storm@zdh-237:/home/storm/apache-storm-1.0.1/conf
scp HTTP.keytab storm@zdh-237:/home/storm/apache-storm-1.0.1/conf

storm.keytab：
用於UI訪問Nimbus,以及Strom訪問Zookeeper時Kerberos鑑權。
HTTP.keytab：
用於UI對外提供Rest查詢管理等服務。

14.拷貝Storm到集羣其他機器

zdh-237的stom複製到zdh-238節點的storm用戶下:
scp -r storm@zdh-237:/home/storm/apache-storm-1.0.1 .
修改storm.yaml文件，替換zdh-237爲zdh-238，
注意不要把storm.zookeeper.servers和nimbus.seeds裏面數組替換掉了。
修改storm-jaas.conf文件，替換zdh-237爲zdh-238：
%s/zdh-237/zdh-238/g

對zdh-239節點操作類似。

如果後面又修改了配置，可以僅拷貝同步配置文件：
scp storm@zdh-237:/home/storm/apache-storm-1.0.1/conf/storm.yaml .

15.啓動Storm

啓動之前請確保ZooKeeper,Kerberos等已正常啓動

15.1.nimbus節點啓動(無日誌)

bin/storm nimbus >/dev/null 2>&1 &
bin/storm ui >/dev/null 2>&1 &
supervisor節點啓動：
bin/storm supervisor >/dev/null 2>&1 &

15.2.nimbus節點啓動(有日誌)：

storm nimbus >nimbusInit.log 2>&1 &
storm ui >uiCoreInit.log 2>&1 &
supervisor節點啓動：
storm supervisor > superInit.log 2>&1 &

15.3.Storm啓動後相關進程

nimbus啓動後相應會產生如下進程：
core（對應Storm UI）
nimbus

supervisor啓動後相應會產生如下進程:
supervisor
提交storm任務後還會生成:
worker,LogWriter

15.4.Storm重啓

Storm沒有提高停止節點的命令，
需要先使用jps或者ps找到Storm所有進程，
再kill掉相應進程，重新啓動。

16.登陸Web管理頁面

需要使用具有Kerberos客戶端的Lunix環境上面的瀏覽器，
例如zdh-237上面的firefox：
10.43.159.41:18080 （不能用,開啓kerberos就無法訪問）
zdh-237:18080 （能用）

關於如何使用Lunix上面的firefox，請參考：
MobaXterm遠程連接Linux圖形用戶界面
Xstart遠程連接Linux圖形用戶界面
VNC的安裝和使用

17.提交topo任務

運行自帶測試用例
cd /home/storm/apache-storm-1.0.1/examples/storm-starter/
storm jar storm-starter-topologies-1.0.1.jar storm.starter.StatefulTopology topoNewTest1

18.查詢提交的topo任務

18.1.後臺命令查看topo信息

storm list

18.2.模擬http請求topo信息

查看crul的特性Features，需要支持GSS-Negotiate:
curl -V
先使用kinit獲取票據:
kinit -kt /home/storm/apache-storm-1.0.1/conf/storm.keytab storm/[email protected]
注意需要使用域名zdh-237，而不能用真實的IP，
而且curl向TGTServer請求訪問的Server是HTTP/[email protected]：
curl -u : --negotiate http://zdh-237:18080/api/v1/topology/summary
如果沒有響應，使用下面的進行調試：
curl -v -i -u : --negotiate http://zdh-237:18080/api/v1/topology/summary
下面這種使用IP的是無法成功的：
curl -i --negotiate -u : http://10.43.159.237:18080/api/v1/topology/summary

18.3.使用瀏覽器查看topo信息

使用vncview登陸zdh-237的可視化界面：
10.43.159.237:1

使用storm/zdh1234用戶登陸
Firefox地址欄輸入:
about:config
搜索配置項network.negotiate-auth.trusted-uris
雙擊添加變量值 "http://zdh-237:18080"
然後在firefox裏面輸入：
http://zdh-237:18080

如果登陸失敗，在命令行使用kinit獲取票據：
kinit -kt /home/storm/apache-storm-1.0.1/conf/storm.keytab storm/[email protected]
再次輸入地址即可訪問stormUI

19.問題總結

19.1

storm.zookeeper.superACL: "sasl:storm"如果未配置，會導致worker進程無法啓動

19.2

不要在業務啓動之前運行kinit，業務啓動是發現kerberos鑑權不過，
則刪除tmp目錄下storm創建的類似/tmp/kbr5cc_[UID]的文件
NOT to run kinit before starting the app.
rm krb5cc_521

19.3

刪除原有zookeeper上面的storm集羣信息
deleteall /storm
如果/storm被加密無法刪除，需要使用zookeeper的超級賬戶刪除，
請參考Zookeeper使用超級用戶刪除帶權限的節點
或者清除zookeeper下面的dataDir，相當於初始化zookeeper。

19.4

其他問題，請參考Storm集羣安裝Version1.0.1
建議安裝普通Storm集羣，可以正常運行之後，再來開啓Kerberos。

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Storm開發中易犯的 小錯誤

飛魚之戀 2019-02-23 00:27:25

Storm對DRPC權限控制Version1.0.1

木木與呆呆 2019-01-22 13:16:36

Storm集羣使用DRPC功能Version1.0.1

木木與呆呆 2019-01-19 13:16:31

Storm集羣開啓HA高可用

木木與呆呆 2018-12-21 13:13:51

Storm集羣安裝Version1.0.1

木木與呆呆 2018-12-21 13:13:51

聊聊flink如何兼容StormTopology

codecraft 2018-12-17 11:10:06

從Storm到Flink：大數據處理的開源系統及編程模型（文末福利）

qq5ac46f12063af 2018-12-15 12:54:08

聊聊storm TridentBoltExecutor的finishBatch方法

codecraft 2018-12-14 17:00:13

phpstorm開啓debug

聽城 2018-12-14 15:00:16

聊聊storm的AggregateProcessor的execute及finishBatch方法

codecraft 2018-12-13 18:05:09

聊聊storm WindowTridentProcessor的FreshCollector

codecraft 2018-12-13 18:00:09

聊聊storm TridentWindowManager的pendingTriggers

codecraft 2018-12-13 18:00:09

聊聊storm的window trigger

codecraft 2018-12-12 10:25:04

大數據Storm企業項目教程視頻

M丶TT 2018-12-11 13:06:06

聊聊storm TridentTopology的構建

codecraft 2018-12-10 10:50:09