scala文件寫好爲前提。
在項目目錄創建一個sbt文件
$ vim simple.sbt
編寫simple.sbt文件,以下爲該文件的內容:
name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" %% "2.1.0"
libraryDependencies += "org.apache.hbase" % "hbase-client" %% "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-common" %% "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-server" %% "1.1.5"
前三行按照實際填寫,libraryDependencies項,第一行的spark-core在編寫spark程序時是必須要有的,這裏寫的是一個用spark讀取HBase數據的程序,所以下面是幾個HBase的依賴包。
在創建sbt文件的目錄執行下面代碼進行sbt打包:
$ /usr/sbt/sbt package
使用spark-submit命令執行打包完成的程序:
$ /usr/lib/spark/bin/spark-submit \
>--driver-class-path /usr/lib/spark/jars/hbase/*:/usr/lib/hbase/conf \
>--class "SparkOperateHBase" \
>/usr/lib/spark/mycode/hbase/target/scala-2.11/simple-project_2.11-1.0.jar