sbt的安裝以及用sbt編譯打包scala編寫的spark程序

衆所周知,spark可以使用三種語言進行編寫,分別是scala,phython,java三種語言,而且執行方式不同,Scala是用sbt編譯打包,Java是用Maven進行編譯打包,而phython則是用spark-submit提交運行。而sbt本身就是用scala進行編寫的。這裏記錄以下自己在Linux下安裝sbt的過程以及編譯打包spark程序的流程,以做備忘。

1 .首先進入根目錄創建相應的目錄結構,執行下面的這些命令,這裏-p參數表示創建多級目錄
這裏寫圖片描述

2 .之後通過cd 命令進入這裏創建的scala目錄下,通過vim SimpleApp.scala創建scala文件,裏面是空的,添加下面這些內容,這個程序是用來統計一個文本中含有字母a和含有字母b的行數,這裏指定的logFile是存放在Linux下的相應目錄下,注意這裏是///,這個logFile可以在windows下創建通過xftp4進行傳輸,也可以直接在linux下直接創建,這個內容是Spark壓縮包中自帶的
這裏寫圖片描述

3 .之後在Linux下輸入spark-shell,查看一下spark和scala對應的版本,記錄下來,稍後會用到
這裏寫圖片描述

4 .進入之前創建的sparkapp目錄,通過vim simple.sbt創建一個sbt文件,這個文件用來指明之前創建的scala文件與spark之間的關係,主要是指定名字,spark,scala的相關版本,注意這裏一定要和自己安裝的版本對應起來。
這裏寫圖片描述

這裏寫圖片描述

5 .之後去這個網站下載sbt的jar包,下載後將其拷貝到/usr/local/sbt目錄下,如果沒有這個目錄,通過mkdir -p創建這個目錄,之後通過cd,進入這個sbt目錄
http://www.scala-sbt.org/0.13/docs/zh-cn/Manual-Installation.html
這裏寫圖片描述

6 .之後在這個sbt同級目錄下,通過vim sbt創建sbt腳本,內容如下,這裏主要指定Java虛擬機內存相關配置以及sbt jar包的位置
這裏寫圖片描述

7 .之後執行chmod u+x sbt爲sbt腳本增加可執行權限,其實這裏沒必要,因爲我使用得是root用戶,如果你是普通用戶,那麼一定要執行這條命令
這裏寫圖片描述

8 .接下來驗證下是否成功,執行./sbt sbt-version,這裏需要等很長時間,取決於網速了,閒着無聊測了下大概有十分鐘,夠我打兩盤爐石了,哈哈。。。
這裏寫圖片描述

9 .玩了兩盤爐石後回來發現出現下面這個內容,之後再次執行剛纔的命令,出現下面這兩張圖,表示ok
這裏寫圖片描述

這裏寫圖片描述

10 .用sbt編譯打包之前首先看一下包結構是否符合要求,只有符合要求的編譯結構才能成功編譯打包,執行下面命令查看
這裏寫圖片描述

11 .之後進入之前存放jar包的目錄,即/usr/local/sbt,執行sbt package命令進行打包,放心,這裏又會等待漫長時間,又可以打兩盤爐石了。。。。回來看
這裏寫圖片描述

12 .最後顯示這麼一個信息,表示打包成功,打包的jar包放在了根目錄下的sparkapp/target下面
這裏寫圖片描述

13 .最後進入spark的bin目錄,通過spark-submit命令將打包好的jar包提交到spark運行即可,見下圖運行結果
這裏寫圖片描述

14 .OK,以上就是在Linux下面sbt的安裝以及如果用sbt編譯打包一個spark程序的過程。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章