Spark Streaming 入門教程

工具  intelliJ  IDE工具，和 spark 包，還有 linun服務器

首先  intelliJ  IDE 新建一個項目導入 spark的jar包

使用的是 spark-1.4.0-bin-hadoop2.4.tgz 解壓後得到spark-1.4.0-bin-hadoop2\spark-1.4.0-bin-hadoop2.4\lib 文件

然後將 lib下的文件全部導入到項目中去

導入jar包以後

項目輸入代碼

import org.apache.spark._
import org.apache.spark.streaming._
object SparkSteamingContext {

  def main(args: Array[String]) {
    //構建streamingContext
    val conf=new SparkConf().setAppName("SteamingWordCount").setMaster("local[2]")
    val sc=new SparkContext(conf)
    val ssc=new StreamingContext(sc,Seconds(5))
    //接受的數據地址
    val ds=ssc.socketTextStream("192.168.80.105",8888)
    //RDD運算
    val result=ds.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    //打印結果
    result.print()
    ssc.start()
    ssc.awaitTermination()
  }
}

啓動該項目以後，就對制定IP地址和端口進行數據輸入了，在linux端啓動   

 

然後輸入 字符，在項目總就可以看到 之前定義的 邏輯處理了

至此，一個簡單的 spark steaming 本地案例就已經完成了，非常簡單，至於深入的後面在做筆記