SparkCore

一 對比

• MapReduce :分佈式框架

1.     缺點：執行速度慢
2.     IO(瓶頸）==》磁盤IO ,網絡IO
3.    Shuffle機制：數據需要輸出到磁盤，而且每次shuffle都需要排序操作
4.    框架機制：
5.                 只有Map 和 Reduce 兩個算法，對於比較複雜的任務，需要構建多個job來執行，當存在Job依賴的時候，job之間的數據需要落盤（輸出在hdfs上）

• Spark：基於內存的分佈式計算框架 ==> 是一個執行引擎

1.   開發者的官博   https://databricks.com/blog（爲什麼這個顏色）
2.   官網：http://spark.apache.org/
3.    很好的一張圖