《Hadoop大明白》【1】Hadoop的核心組件 原

本書適用於想對大數據平臺Hadoop有深入瞭解的程序員朋友,會幫助你以後在應用開發方面趟平一些坑。

1,Hadoop 是一個系列大數據組件構成的應用平臺,可由多個廉價機器搭建集羣,提供分佈式存儲和計算。

2,MapReduce 分爲map和reduce。 map是將一系列數據轉換N個k-v reduce是將k-v經過分佈式並行計算,並將結果合併處理得到目的。

3,Hive 是一個元數據存儲於關係型數據庫,數據集存於HDFS的數據倉庫;可用HiveQL進行MapReduce計算。

4,Impala

5, Spark 是擺脫MapReduce,使用新型內存計算框架的計算引擎。

6,HBase是NoSql(not only sql)的實現,rowkey,列組,region,regionServer,MasterServer是要自行了解的內容。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章