Spark Streaming從1.4.1升級至2.0.0-preview遇到的問題彙總

Spark Streaming從1.4.1升級至2.0.0-preview遇到的問題彙總

---

Spark Streaming以及Kafka依賴問題(pom.xml)

• 1.4.1

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.4.1</version>
</dependency>

• 2.0.0-preview

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-8_2.10</artifactId>
    <version>2.0.0-preview</version>
</dependency>

import org.apache.spark.Logging的問題

　　項目中繼承org.apache.spark.Logging類，並自定義了日誌打印方法。但是在2.0.0-preview版本中，org.apache.spark.Logging這個類並不存在，轉移到org.apache.spark.internal.Logging。不同的是，在2.0.0-preview版本中，這已經不是DeveloperApi了。

• 1.4.1部分源碼

trait Logging{
    ...
}

• 2.0.0-preview部分源碼

private[spark] trait Logging{
   ...
}

提交代碼報錯Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class

1. 目前已同步系統與依賴Scala、Spark版本
2. 以升級Scala IDEA
3. 通過將spark-2.0.0-bin-hadoop2.4.tgz升級爲spark-2.0.0-bin-hadoop2.6問題解決