注：圖片如果損壞，點擊文章鏈接：https://www.toutiao.com/i6813925210731840013/
Spark官網下載地址：
http://spark.apache.org/downloads.html
有兩種一種是編譯好的 一種是沒編譯的（需要自己編譯） 看自己的選擇
下載好的文件
解壓之後可以看源碼
直接用IDE工具打開就可以
從官網下載需要的版本https://archive.apache.org/dist/spark/
解壓文件
編譯前的環境準備
Maven 3.3.9+
jdk7以上
scala 2.11+
注意：在配置java之前，需要檢查以下Linux是否有自帶jdk，如果有的話，先刪除，然後再解壓jdk進行配置
用以下命令去檢查
rpm -qa | grep java
這裏是我自己下載的就不刪除了
卸載： rpm -e --nodeps xxxxxx aaaaa ddddd
在環境變量中配置以下三個環境變量
#JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_11
export PATH=$PATH:$JAVA_HOME/bin
#MAVEN_HOME
export MAVEN_HOME=/opt/modules/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
#SCALA_HOME
export SCALA_HOME=/opt/modules/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
使用shell命令進行編譯(spark源碼主目錄下)執行
./dev/make-distribution.sh --name 2.7.3 --tgz -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -Pyarn -DskipTests-Dscala-2.11
-Pyarn：表示支持yarn
-Phadoop-2.7：表示支持hadoop的大版本
-Dhadoop.version=2.6.0-cdh5.7.0：具體的hadoop版本
-Phive -Phive-thriftserver ：支持hive和hive-thrifserver
-Dscala-2.11：表示對應的scala版本
需要等一段時間
注意事項
虛擬機內存最好4G以上，重啓虛擬機再編譯
編譯失敗：網絡不好、內存不夠
如果編譯cdh版本，需要改一下倉庫url
<repository>
<id>cloudera</id>
<name>cloudera Repository</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
這樣就成功了
編譯就完成了
