win10+intelij 開發spark程序(一)

(1)下載安裝intelij IDEA.要community那種的.

(2)安裝完成後,打開首頁,會提示有選擇各種不同的插件,爲避免麻煩,先默認都選吧(個人按需選擇),其中 scala 和sbt 是必須要選擇安裝的.

(3)新建scala項目,如圖:

(4)生成scala項目後,編輯項目根目錄下build.sbt:

name := "SBTTest"

version := "0.1"

scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

刷新:

(5)等待sbt下載所需的jar包....大概10分鐘

(6)在src目錄下新建一個scala文件,比如WordCount.scala

(7)運行程序,run,看下面日誌輸出..

(8)window平臺跟Linux 平臺文件系統不一樣,因此, scala程序的輸入文件路徑有區別,比如在linux平臺,

val inputFile =  "file:///testdata/user_action.txt"

在window平臺:

val inputFile =  "/G:/testdata/user_action.txt"

這個需要注意一下.

window運行成功一般有如下日誌:

(9)在linux平臺,先改一下輸入路徑,然後打包陳jar,傳到linux運行.前提是spark環境先安裝好.