問題1:reduce task數目不合適
解決方案:
需要根據實際情況調整默認配置,調整方式是修改參數Spark.default.parallelism。通常的,reduce數目設置爲core數目的2-3倍。數量太大,造成很多小任務,增加啓動任務的開銷;數目太小,任務運行緩慢。所以要合理修改reduce的task數目即Spark.default.parallelism
問題2:shuffle磁盤IO時間長
解決方案:
設置spark.local.dir爲多個磁盤,並設置磁盤的IO速度快的磁盤,通過增加IO來優化shuffle性能;
問題3:map|reduce數量大,造成shuffle小文件數目多
解決方案:
通過設置spark.shuffle.consolidateFiles爲true,來合併shuffle中間文件,此時文件數爲reduce tasks數目;
問題4:序列化時間長、結果大
解決方案:
spark默認使用JDK 自帶的ObjectOutputStream,這種方式產生的結果大、CPU處理時間長,可以通過設置spark.serializer爲org.apache.spark.serializer.KeyoSerializer。
另外如果結果已經很大,那就最好使用廣播變量方式了,結果你懂得。
問題5:單條記錄消耗大
解決方案:
使用mapPartition替換map,mapPartition是對每個Partition進行計算,而map是對partition中的每條記錄進行計算;
問題6 : collect輸出大量結果時速度慢
解決方案:
collect源碼中是把所有的結果以一個Array的方式放在內存中,可以直接輸出到分佈式的文件系統,然後查看文件系統中的內容;
問題7: 任務執行速度傾斜
解決方案:
如果數據傾斜,一般是partition key取得不好,可以考慮其他的並行處理方式,並在中間加上aggregation操作;如果是Worker傾斜,例如在某些Worker上的executor執行緩慢,可以通過設置spark.speculation=true 把那些持續慢的節點去掉;
問題8: 通過多步驟的RDD操作後有很多空任務或者小任務產生
解決方案:
使用coalesce或者repartition去減少RDD中partition數量;
問題9:Spark Streaming吞吐量不高
解決方案:
可以設置spark.streaming.concurrentJobs
問題10:Spark Streaming 運行速度突然下降了,經常會有任務延遲和阻塞
解決方案:
這是因爲我們設置job啓動interval時間間隔太短了,導致每次job在指定時間無法正常執行完成,換句話說就是創建的windows窗口時間間隔太密集了;