spark-23.spark調優_1_監控與調優方向

1.spark的監控

1.任務運行的監控

spark web ui spark內置應用運行監控工具。

2.基礎資源的監控

Ganglia 分析集羣的使用狀況和資源瓶頸。
Nmon 主機CPU、網絡、磁盤、內存。
Jmeter 系統實時性能監控工具。

3.代碼的監控

Jprofile Java程序性能監控工具【所有基於JVM的都能被監控】

2.spark的調優方向

調優要點：數據傾斜、資源參數、Shuffle參數、程序開發、JVM GC的優化。