SBT打包編譯流程

scala文件寫好爲前提。

在項目目錄創建一個sbt文件

$ vim simple.sbt

編寫simple.sbt文件,以下爲該文件的內容:

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" %% "2.1.0"
libraryDependencies += "org.apache.hbase" % "hbase-client" %% "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-common" %% "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-server" %% "1.1.5"

前三行按照實際填寫,libraryDependencies項,第一行的spark-core在編寫spark程序時是必須要有的,這裏寫的是一個用spark讀取HBase數據的程序,所以下面是幾個HBase的依賴包。

在創建sbt文件的目錄執行下面代碼進行sbt打包:

$ /usr/sbt/sbt package

使用spark-submit命令執行打包完成的程序:

$ /usr/lib/spark/bin/spark-submit \
>--driver-class-path /usr/lib/spark/jars/hbase/*:/usr/lib/hbase/conf \
>--class "SparkOperateHBase" \
>/usr/lib/spark/mycode/hbase/target/scala-2.11/simple-project_2.11-1.0.jar

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章