-
常用參數
val sparkConf = new SparkConf().setAppName("...")
.set("spark.streaming.kafka.consumer.poll.ms", "100000")
//基於Direct Stream方式的Kafka連接時可設置此參數
.set("spark.streaming.kafka.maxRatePerPartition","500")
.set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
.set("spark.streaming.backpressure.enabled","true")
.set("spark.speculation","true")
val ssc=new StreamingContext(sparkConf,Seconds(10)) //batchDurationspark.streaming.backpressure.initialRate 啓用反壓機制時每個接收器接收第一批數據的初始最大速率。默認值沒有設置 spark.streaming.backpressure.pid.minRate 用於控制最小處理速率,默認值100條/秒
//控制每秒讀取Kafka每個Partition最大消息數(maxRatePerPartitionbatchDuration),若Streaming批次爲10秒,topic最大分區爲3,則每批次最大接收消息數爲5003*10=15000
2、日誌查看
待續
3、性能問題解決
待續4、一致性問題解決
待續
Spark Streaming 使用
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.