win10 系統 eclipse配置scala+spark開發環境

第一步:安裝JDK 

  (1)下載JDK(1.7以上版本)

      下載地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

  (2)配置環境變量(以Windows爲例)

             新增JAVA_HOME 變量,值:C:\Program Files\Java\jdk1.7.0_71
             新增CLASSPATH 變量,值:.;%JAVA_HOME%\lib
             增加PATH 變量,補充:;%JAVA_HOME%\bin

             進入cmd 界面測試JDK 是否安裝成功:
             C:\Users\admin>java -version
             java version "1.7.0_71"
             Java(TM) SE Runtime Environment (build 1.7.0_71-b14)

第二步:安裝Scala

  (1)下載Scala(下載 Scala 包)

      下載地址(Scala 主頁):http://www.scala-lang.org/download/2.10.4.html 下載scala-2.10.4.msi

  (2)下載完成後解壓,增加PATH 變量

      比如解壓目錄是C:\scala\,不要放在C:\Program Files (x86)或者C:\Program Files然後將“C:\Program Files (x86)\scala\bin;”加到環境變量path中

             進入cmd 界面測試Scala 是否安裝成功:
             C:\Users\admin>scala
             Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_7
             Type :help for more information.

第三步: 配置Spark環境變量

  (1)下載Spark

      下載地址:http://spark.apache.org/downloads.html

      下載相應Hadoop對應的版本,比如spark-1.6.2-bin-hadoop2.6.tgz,spark版本是1.6.2,對應的hadoop版本是2.6

  (2)下載完成後解壓,配置Spark的環境變量(以Windows爲例)

             新增SPARK_HOME 變量,值:C:\Apache Spark\spark-1.6.2-bin-hadoop2.6
             新增SPARK_CLASSPATH 變量,值:;C:\Apache Spark\spark-1.6.2-bin-hadoop2.6\lib\spark-assembly-1.6.2-hadoop2.6.0.jar;
             增加PATH變量,補充:;C:\Apache Spark\spark-1.6.2-bin-hadoop2.6\bin

第四步:安裝Hadoop工具包

  Spark是基於Hadoop之上的,運行過程中會調用相關Hadoop庫,如果沒配置相關Hadoop運行環境,會提示相關出錯信息,雖然也不影響運行。Windows下開發Spark不需要在本地安裝Hadoop,但是需要winutils.exe、hadoop.dll等文件。

  (1)下載Windows下Hadoop工具包(分爲32位和64位的),比如hadoop-2.6.0.tar.gz

      下載地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin
                  https://www.barik.net/archive/2015/01/19/172716/

  (2)下載完成後解壓,配置Hadoop的環境變量(以Windows爲例)

      在本地新建一個hadoop目錄,其中必須包含有bin目錄,例如“D:\spark\hadoop-2.6.0\bin”,然後將winutil等文件放在bin目錄下

      將相關庫添加到系統Path變量中:D:\hadoop-2.6.0\bin;同時新建HADOOP_HOME變量,變量值爲:D:\hadoop-2.6.0

第五步:安裝Eclipse

  在官網下載Eclipse,解壓縮到本地後直接使用即可。

第六步:安裝Eclipse Scala IDE插件

  (1)下載Eclipse Scala IDE插件

      下載地址:Scala IDE(for Scala 2.10.X and Eclipse Juno\kepler) 有版本匹配限制 下載

                                   即:下載      For Scala 2.10.x 的zipfile文件

           http://scala-ide.org/download/prev-stable.html

  (2)安裝Scala 插件

      1.將Eclipse Scala IDE插件中features和plugins兩個目錄下的所有文件拷貝到Eclipse解壓後所對應的目錄中。

      2.重新啓動Eclipse,點擊Eclipse右上角方框按鈕,如下圖所示,展開後點擊“Other….”,查看是否有“Scala”一項,若有則可直接點擊打開,否則進行下一步操作。

      3.在Eclipse中,依次選擇“Help” –> “Install New Software…”,在彈出的對話框裏填入

                                      http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site
           ,並按回車鍵,可看到以下內容,選擇Scala IDE for Eclipse 和Scala IDE for Eclipse development support 即可完成Scala 插件在               Eclipse上的安裝(由於上一步已經將jar包拷貝到Eclipse中,安裝很快,只是疏通一下)。

      安裝完後,再操作一遍步驟2便可。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章