（1）部署
部署方式：spark standalone集羣、yarn集羣、meoss集羣...
driver的HA：如果希望driver程序在失敗之後自動重啓，那麼需要在程序中使用getOrcreate方法重構streamingContext對象，以及在spark-submit中添加參數。
Checkpoint目錄的設置：如果程序使用到checkpoint目錄，就必須配置一個hdfs兼容的文件系統作爲checkpoint目錄，因爲程序是分佈式的，不能將checkpoint單獨的設置在某一個節點
接收數據的方式： Receiver和direct
Receiver方式：需要給executor分配足夠的資源，因爲receiver接受的數據時存儲在executor的內存中，尤其是在做window操作時，必須保證有足夠的內存存儲相應時間內的所有數據。 spark.streaming.receiver.writeAheadLog.enable參數設置爲true，用於開啓receive方式的WAL，保證數據不丟失。
direct方式：對於kafka direct方式，引入了backpressure機制，從而不需要設置spark.streaming.kafka.maxRatePerPartition，spark可以自動的估計receive最合理的接收速度，並根據情況動態調整，只需要設置：spark.streaming.backpressure.enabled設置爲true即可
（2）調優
- 設置合理的CPU資源
- 在streaming程序中，CPU資源的使用可以分成兩大類用於接收數據和用於處理數據，我們需要設置足夠的CPU資源，使得有足夠的CPU資源用於接收數據和處理數據，這樣才能及時高效地處理數據。
- 數據接收的性能優化
- 通過網絡接收數據時，會將數據反序列化，並存儲在spark的內存中。
- 數據的並行化接收，就是啓動多個receiver，設置多個DStream輸入源
- 調節block interval參數，對於大多數的receiver來說，在將接收的數據保存的時候，都會做數據切分成一個一個的block，而block的個數決定了每一個batch的分區個數，而分區個數則決定了transformation啓動的task的個數：batch interval / block interval（spark.streaming.blockInterval，默認爲200ms，最小值爲50ms）
- Spark數據處理並行度調優
- 如果在計算的任何stage中使用的並行task的數量沒有足夠多，那麼集羣的資源不能得到很好的利用，可以使用spark.default.parallelism，調整默認的並行的task個數，也可以在調用有shuffle的算子的時候手動指定numPar個數，調整task的並行度。
- Spark的任務調優
如果每秒鐘啓動的task過於多，那麼發送這些task去worker節點上的executor的性能開銷就會比較大，此時延遲就會變得高了。- Task的序列化：使用Kryo序列化機制來序列化task，減少task的大小，從而減少發送到executor的時間
- 執行模式，使用spark的自帶的standalone運行spark程序，可以達到更少的task啓動時間
- 序列化的調優
- 輸入數據，在receiver接收的數據時存儲在executor內存中的，需要保證數據的0丟失從而序列化
- 流式計算操作生成的持久化的RDD：流式計算操作生成的持久化的RDD，以及需要被窗口操作的數據都需要持久化
- batch interval調優
- 對於流式計算而言，爲了使其可以穩定運行以及高效運行，最重要的就是對於batch生成之後，就儘可能快的處理掉。 在構建StreamingContext的時候，需要我們傳進一個參數，用於設置Spark Streaming批處理的時間間隔。Spark會每隔batchDuration時間去提交一次Job，如果你的Job處理的時間超過了batchDuration的設置，那麼會導致後面的作業無法按時提交，隨着時間的推移，越來越多的作業被拖延，最後導致整個Streaming作業被阻塞，這就間接地導致無法實時處理數據，最終導致程序崩潰。所以針對自己的業務，設置批處理時間尤爲重要。
- Spark內存調優
- DStream的持久化，將大量的數據持久化爲byte數據，減少了數據序列化話後的對象，降低了GC的頻率。當然爲了進一步的降低內存的使用率，可以使用壓縮：spark.rdd.compress這是爲true即可
- 清理舊數據，將保存在內存中已經被使用過的數據進行刪除，釋放內存。以window操作爲例，如果窗口的時間爲10分鐘，spark中會保持這10分鐘的數據，之後在處理完成之後，就會將數據進行清除