storm學習2-storm生命周以及相關配置詳解

Storm中的生命週期


瞭解Spout和bolt方法調用


Sqout方法調用順序:
1.declareOutputFields() //聲明發送字段信息,提交前執行
2.open() //提交集羣后第一個執行
3.activate()            //激活數據
4.netTuple()           //循環調用
5.deactivate()         //執行完畢


Bolt方法調用
1.decareOutputFields() //聲明檢查信息,提交集羣先
2.prepare()            //只執行一次
3.execute()            //不停被調用


可以在ui頁面可以kill掉,刷新就移除了。

下面我們來看看storm的配置詳解

配置項                                                                  詳解

storm.zookeeper.server                                   zookeeper服務器列表

storm.zookeeper.port       zookeeper連接端口

storm.local.dir                                                   storm使用本地文件系統目錄(必須存在並且storm進程可讀寫)

storm.cluster.mode                                         storm集羣運行模式([distributed|local])

storm.local.mode.zmq                                    localhost模式下是否使用zeromq作消息系統,如果設置false則使用java消息系統,默認false

storm.zookeeper.root                                      zookeeper中storm的根目錄位置

storm.zookeeper.session.timeout               客戶端連接zookeeper超時時間

storm.id                                                             運行中拓撲的id,由storm name和一個唯一隨機數組成

nimbus.host                                                     nimbus的服務器地址

nimbus.thrift.port                                             nimbus的thrift監聽端口

nimbus.childopts                                            通過storm-deploy項目部署時制定給nimbus進程的jvm選項

nimbus.task.timeout.secs                            心跳超時時間,超時後nimbus會認爲task死掉並重新分配給另外一個地址

nimbus.supervisor.timeout.secs                 supervisor的心跳時間,一旦超過nimbus會認爲該supervisor死掉,並停止給它分發任務

nimbus.task.launch.secs                              task啓動時的一個特殊超時設置,在第一次啓動後第一次心跳前用該值來臨時替代nimbus.task.timout.secs

nimbus.reassign                                             當發現task失敗時nimbus是否重新分配執行。默認爲真,不需要修改

nimbus.file.copy.expiration.secs                  nimbus判斷上傳/下載鏈接的超時時間,一旦超時nimbus會認爲鏈接死掉並主動斷開

ui.port                                                                storm ui 的服務端口 默認爲8080

drpc.server                                                       DRPC服務器列表,以便DRPCSpout知道和誰通信

drpc.port                                                            stormDRPC的服務端口

supervisor.slots.ports                                     supervisor上能夠運行workers的端口列表,每個worker佔用一個端口,且每個端口只運行一個worker,通過這項配置可以調整每臺                                                                              機器上運行的worker數(也就是調整slot數/每臺機器)

supervisor.childopts                                        在storm-deploy項目中使用,用來配置supervisor守護進程的jvm選項

supervisor.worker.timeout.secs                    supervisor中的worker心跳超時時間,一旦超時supervisor會嘗試重新啓動worker進程

supervisor.worker.start.timeout                     supervisor初始啓動時,worker的心跳超時時間,當超過這個時間時,supervisor會嘗試重啓worker進程,因爲jvm初始啓動和配置

                                                                              會帶來額外的消耗,從而使得第一次心跳會超過supervisor.worker.timeout.secs的設置

supervisor.enable                                            supervisor是否應當運行分配給它的worker。默認爲true,該選項用來進行storm的單元測試,一般不修改

supervisor.heartbeat.frequency.secs           supervisor心跳發送的頻率(多長時間發送一次)

supervisor.monitor.frequency.eccs               supervisor檢查worker心跳的頻率

worker.childopts                                                supervisor啓動worker時使用的jvm選項。所有的"%ID%“字串會被替換爲對應的worker的標識符

worker.heartbeat.frequnency.secs                worker的心跳發送時間間隔

task.heartbeat.frequency.secs                       task彙報狀態心跳時間間隔

task.refresh.poll.secs                                       task與其他task之間的鏈接同步的頻率(如果task被重新分配,其他task向它發送消息需要刷新連接)一般來將重新分配其他task會得                                                                               到通知。該配置僅僅是爲了防止未通知的情況

topology.debug                                                  如果設置爲true。storm將記錄發送的每條信息

topology.optimize                                              master是否在合適時機通過在單個線程內運行的多個task以達到優化topologies的目的

topology.worker                                                 執行該topology集羣中應當的進程數量,每個進程內部將以線程方式執行行一定數量的tasks.topology的組件結合該參數和並行都提                                                                              示來優化性能

topology.ackers                                                topology中啓動的acker任務數,Acker保存由spout發送的tuples的記錄,並探測tuple何時被完全處理。當Acker探測到tuple被完全                                                                               處理完畢時會向spout發送確認信息。通常應當根據topology的吞吐量來確定acker的數據,但一般不需要太多。當設置爲0時,相當                                                                               於 禁用了消息可靠性,storm會在spout發送tuples後立即進行確認

topology.message.timeout.secs                   topology中的spout發送消息的最大處理超時時間。如果一條消息在改時間窗口內未被成功ack,storm會告知spout這條消息失敗。                                                                                而部分spout實現了失敗的消息重播功能

topology.kryo.register                                        註冊到kryo(storm地城序列化框架)的序列化方案列表,序列化方案可以是一個類名。或者是com.esotericsoftware.kryo.Serializer

                                                                                 的實現

topology.skip.missing.kryo.registrations        storm是否應該跳過它不能識別的kryo序列化方案,如果設置爲false。task可能會裝載失敗或者在運行時拋出錯誤

topology.max.task.parallelism                          在一個topology中能允許的最大組件並行度,該項配置主要用在本地模式中的測試線程數限制

topology.max.spout。pending                           一個spout task中出於pending狀態的最大的tuples數量,該配置應該用於單個task,而不是整個spout或者topology

topology.state.synchronization.timeout.secs   組件同步狀態源的最大超時時間

topology.stats.samle.rate                                    用來產生task統計信息的tuples抽樣百分比

topology.fall.back.on.java.serialization              topology中是否使用java的序列化方案

zmq.threads                                                           每個worker進程內zeromq通訊用到的線程數

zmq.linger.millis                                                   當連接關閉時,鏈接嘗試重新發送消息到目標主機的持續時間長,這個是一個不常用的高級選項,基本可以忽略

java.library.path                                                     Jvm啓動(如Nimbus,Supervisor和workers)時的java.library.path設置。該選項告訴jvm在哪些路徑下定位本地庫



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章