我的大數據之旅-Spark配置Job History Server

目錄

配置文件

提交作業，檢查是否可用

---

配置文件

進入Spark的conf目錄，spark-defaults.conf.template拷貝一份

[fengling@hadoop129 conf]$ pwd
/opt/module/spark-2.4.4-bin-hadoop2.7/conf
[fengling@hadoop129 conf]$ cp spark-defaults.conf.template spark-defaults.conf

如圖三個spark配置去掉註釋，並根據自己機子的情況修改配置

spark.master                     spark://hadoop129:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop129:9000/spark/logs

修改spark-env.sh文件

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://hadoop129:9000/spark/logs"

修改完畢之後，同步到其他機子

[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ xsync conf/

一鍵部署的腳本可以參考這篇博文：我的大數據之旅-xsync集羣分發腳本

 

提交作業，檢查是否可用

[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ bin/spark-submit \
--master spark://hadoop129:7077 \
--class com.fengling.spark.WordCount mySparks/wordcount-jar-with-dependencies.jar \
hdfs://hadoop129:9000/user/user/fengling/spark/RELEASE \
hdfs://hadoop129:9000/user/user/fengling/spark/WordCount_output_20190927_110700