Hadoop生態系統基本介紹

        Hadoop是一個搭建在廉價PC上的分佈式集羣系統架構，它具有高可用性、高容錯性和高可擴展性等優點。由於它提供了一個開放式的平臺，用戶可以在完全不瞭解底層實現細節的情形下，開發適合自身應用的分佈式程序。

二、Hadoop的整體框架

    Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成員組成，其中最基礎最重要的兩種組成元素爲底層用於存儲集羣中所有存儲節點文件的文件系統HDFS（Hadoop Distributed File System）和上層用來執行MapReduce程序的MapReduce引擎。

 

•Pig是一個基於Hadoop的大規模數據分析平臺，Pig爲複雜的海量數據並行計算提供了一個簡易的操作和編程接口

•Chukwa是基於Hadoop的集羣監控系統，由yahoo貢獻

•hive是基於Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉換爲MapReduce任務進行運行

•ZooKeeper：高效的，可擴展的協調系統,存儲和協調關鍵共享狀態

•HBase是一個開源的，基於列存儲模型的分佈式數據庫

•HDFS是一個分佈式文件系統。有着高容錯性的特點，並且設計用來部署在低廉的硬件上，適合那些有着超大數據集的應用程序

•MapReduce是一種編程模型，用於大規模數據集（大於1TB）的並行運算

下圖是一個典型的Hadoop試驗集羣的部署結構。

Hadoop各組件之間是如何依賴共存的呢？下圖爲你展示：

三、Hadoop的核心設計

　　3.1 HDFS

　　　HDFS是一個高度容錯性的分佈式文件系統，可以被廣泛的部署於廉價的PC之上。它以流式訪問模式訪問應用程序的數據，這大大提高了整個系統的數據吞吐量，因而非常適合用於具有超大數據集的應用程序中。

　　 HDFS的架構如下圖所示。HDFS架構採用主從架構（master/slave）。一個典型的HDFS集羣包含一個NameNode節點和多個DataNode節點。NameNode節點負責整個HDFS文件系統中的文件的元數據保管和管理，集羣中通常只有一臺機器上運行NameNode實例，DataNode節點保存文件中的數據，集羣中的機器分別運行一個DataNode實例。在HDFS中，NameNode節點被稱爲名稱節點，DataNode節點被稱爲數據節點。DataNode節點通過心跳機制與NameNode節點進行定時的通信。

 　　

•NameNode

  可以看作是分佈式文件系統中的管理者，存儲文件系統的meta-data，主要負責管理文件系統的命名空間，集羣配置信息，存儲塊的複製。

•DataNode

  是文件存儲的基本單元。它存儲文件塊在本地文件系統中，保存了文件塊的meta-data，同時週期性的發送所有存在的文件塊的報告給NameNode。

•Client

  就是需要獲取分佈式文件系統文件的應用程序。

下面來看看在HDFS上如何進行文件的讀/寫操作：

文件寫入：

1. Client向NameNode發起文件寫入的請求

2. NameNode根據文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。

3. Client將文件劃分爲多個文件塊，根據DataNode的地址信息，按順序寫入到每一個DataNode塊中。

文件讀取：

1. Client向NameNode發起文件讀取的請求

2. NameNode返回文件存儲的DataNode的信息。

3. Client讀取文件信息。

3.2 MapReduce

　　MapReduce是一種編程模型，用於大規模數據集的並行運算。Map（映射）和Reduce（化簡），採用分而治之思想，先把任務分發到集羣多個節點上，並行計算，然後再把計算結果合併，從而得到最終計算結果。多節點計算，所涉及的任務調度、負載均衡、容錯處理等，都由MapReduce框架完成，不需要編程人員關心這些內容。

　　下圖是一個MapReduce的處理過程：

　　用戶提交任務給JobTracer，JobTracer把對應的用戶程序中的Map操作和Reduce操作映射至TaskTracer節點中；輸入模塊負責把輸入數據分成小數據塊，然後把它們傳給Map節點；Map節點得到每一個key/value對，處理後產生一個或多個key/value對，然後寫入文件；Reduce節點獲取臨時文件中的數據，對帶有相同key的數據進行迭代計算，然後把終結果寫入文件。

　　如果這樣解釋還是太抽象，可以通過下面一個具體的處理過程來理解：（WordCount實例）　　Hadoop的核心是MapReduce，而MapReduce的核心又在於map和reduce函數。它們是交給用戶實現的，這兩個函數定義了任務本身。

• map函數：接受一個鍵值對（key-value pair）（例如上圖中的Splitting結果），產生一組中間鍵值對（例如上圖中Mapping後的結果）。Map/Reduce框架會將map函數產生的中間鍵值對裏鍵相同的值傳遞給一個reduce函數。
• reduce函數：接受一個鍵，以及相關的一組值（例如上圖中Shuffling後的結果），將這組值進行合併產生一組規模更小的值（通常只有一個或零個值）（例如上圖中Reduce後的結果）

　　但是，Map/Reduce並不是萬能的，適用於Map/Reduce計算有先提條件：

①待處理的數據集可以分解成許多小的數據集；

②而且每一個小數據集都可以完全並行地進行處理；

若不滿足以上兩條中的任意一條，則不適合使用Map/Reduce模式.

 

(另：Hadoop安裝請見原作者教程)

 

作者：周旭龍

出處：http://www.cnblogs.com/edisonchou/

本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接。