spark yarn 設置了spark.yarn.archive,還是會重新上傳

[main] [INFO] [2021-04-13 15:32:59] Uploading resource hdfs://udp02:8020/user/zzm/spark-lib/arpack_combined_all-0.1.jar -> hdfs://cluster1/user/hadoop/.sparkStaging/application_1615460247184_26533/arpack_combined_all-0.1.jar 

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://ucluster1</value>
    </property>

改爲:

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://udp02:8020</value>
    </property>

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章