Spark Stream 流式處理

在這裏插入圖片描述
總結:

  • Spark的核心數據結構是RDD(彈性分佈式數據集)
  • Spark Streaming 採用微批處理模式,保證消息傳輸精準性,採用checkpoint方式保證可靠性,具有良好的吞吐性能,延時表現非真正實時
  • Spark Streaming 可以接收Kafka和HDFS等在內的多種數據源,批量處理後,輸出到HDFS、數據庫或文件系統
發佈了146 篇原創文章 · 獲贊 65 · 訪問量 9萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章