strom配置參數簡單分析

Woker

       storm的一個拓撲任務可能有一個或多個woker,一個worker代表一個線程,但是一個拓撲任務中woker的最大數據量是有限制的,max( number of worker)=number of   supervisor  X ports of slots。 例如如果你有四個 supervisor,設置 slots的端口爲 6700,6701,6702,6703 則worker最多有16個,代碼中可通過 conf.setNumWorkers(num)設置,num 不能超過最大值。

Executor

       一個executor是一個進程,一個executor只能對應一個 worker,一個worker可以有多個進程,每個進程只能處理一個woker裏面的一個組件(spout/blot),每個組件可能會對應多個task,每個executor也可以處理多個task,但是一個task只對應一個進程。默認情況下,一個executor對應一個task,但是在代碼中我們可以通過 toplogy.builder.setBlot("name of bolt",Class of Blot,num of excutors).setNumTasks( num of tasks) 來設置對應的參數

動態設置拓撲併發度

        建議使用使用Storm rebalance命令,不需要重提服務,執行一下命令

        storm reblance mytoplogy -n 5 -e bolt1 3 -e bolt2 5    #設置5個worker,bolt1 3個executor,bolt2 5個executor

 

       

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章