Intellij 創建spark項目的兩種方式

   Intellij是進行scala開發的一個非常好用的工具,可以非常輕鬆查看scala源碼,當然用它來開發Java也是很爽的,之前一直在用scala ide和eclipse,現在換成intellij簡直好用到飛起,但是有些人不知道怎麼用intellij去創建一個spark項目,這裏介紹兩種

  1. 選擇File->new Project->Java->Scala,這裏scala版本是2.11.8

. 這裏寫圖片描述

2 .之後一路點擊next,直到finish,創建完的項目見下圖,這時候已經可以創建scala文件了,接下來就可以添加spark相關的jar包了,從官網下載http://spark.apache.org/downloads.html,我這裏用的是spark-2.2.1-bin-hadoop2.7,你可以根據自己需要選擇相應的版本,下載完壓縮包後解壓
這裏寫圖片描述

3 . 選擇File->Project Structure->Libraries,點擊+,選擇Java,選擇之前下載的spark2.2-hadoop2.7解壓後的jars文件夾,將該文件夾下的jar包全部引進該項目,見下圖
這裏寫圖片描述

4 . 之後在libraries中點擊+,選擇scala sdk,這裏選擇系統版本的scala,爲2.11.8版本,添加見下圖
這裏寫圖片描述

5 . 添加完畢後Project Structure類似於下面這種格式
這裏寫圖片描述

6 .現在該項目有了spark的jar和scala的sdk,之後創建一個scala文件進行測試,代碼及運行結果見下圖
這裏寫圖片描述
這裏寫圖片描述

7 .出現上面這些內容表明Intellij創建spark項目成功,總結一下這種方式需要引入scala sdk以及spark的jar包,還有另外一種方式是見下圖,選擇File->New Project->Scala->IDEA,選擇next

這裏寫圖片描述

8 .之後指定項目名稱和項目所處位置,點擊finish,創建項目
這裏寫圖片描述

9 .這時候創建的項目如下,這種情況下可以直接右鍵new 創建scala文件,不需要在額外添加scala sdk
這裏寫圖片描述

10 .接下來的操作和上面那種一樣,添加spark jar包即可,添加完後測試一下
這裏寫圖片描述
這裏寫圖片描述

11 .成功輸出,表明Intellij創建spark項目成功,當然前提是intellij安裝了scala插件,在File->Settings->Plugins,搜索scala,根據查找的結果進行安裝後重啓intellij即可,下圖是我已經安裝好的
這裏寫圖片描述

12 .以上就是兩種創建spark項目的方式

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章