關於scala和spark版本衝突報錯

獲取版本對應

1.從spark官網可以獲取

官網鏈接:https://spark.apache.org

Spark runs on Java 8, Python 2.7+/3.4+ and R 3.1+. For the Scala API,
Spark 2.4.5 uses Scala 2.12. You will need to use a compatible Scala
version (2.12.x).

2.從maven倉庫也可以

在這裏插入圖片描述

因爲我使用的Scala是2.10.6,而spark使用的是2.4.5,所以引起版本衝突,idea中報錯:

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1767)
at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:76)
at org.apache.spark.SparkConf.<init>(SparkConf.scala:71)
at org.apache.spark.SparkConf.<init>(SparkConf.scala:58)
at ScalaSparkContext.getSparkContext(Test.scala:8)
at ScalaSparkContext.<init>(Test.scala:6)
at Test$.main(Test.scala:25)
at Test.main(Test.scala)

可以從Scala官網中下載對應版本

https://www.scala-lang.org
		不得不說,下載速度超級慢
		
我從網上找到一下方法可以較快的下載:
	http://downloads.typesafe.com/scala/2.12.10/scala-2.12.10.msi
	若是要下載別的版本只需要將版本號更改即可。

可以從官網中複製下載鏈接,使用迅雷大法下載。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章