hadoop大數據研發平臺

一．開發平臺：
•Hadoop是Apache軟件基金會旗下的一個開源分佈式計算平臺
•以分佈式文件系統（Hadoop Distributed File Syste, HDFS）和MapReduce爲核心的Hadoop爲用戶提供了系統底層細節透明分佈式基礎架構
•HDFS的高容錯、高伸縮的優點允許用戶將Hadoop部署在低廉的硬件上
•MapReduce則允許用戶在不瞭解分佈式系統底層細節的情況下開發並行應用程序
二．優勢：
•高可靠性 ---因爲Hadoop假設計算元素和存儲會出現故障，因爲它維護多個工作數據副本，在出現故障時可以對失敗的節點重新分佈處理
•高擴展性 --- 在集羣間分配任務數據，可方便的擴展數以千計的節點
•高效性 ---在MapReduce的思想下，Hadoop是並行工作的，以加快任務處理速度
•高容錯性 --- 自動保存多份副本數據，並且能夠自動將失敗的任務重新分配
三．應用及發展趨勢：
•Yahoo ：通過集羣運行Hadoop，以支持廣告系統和Web搜索
•FaceBook： (Hive貢獻者)藉助Hadoop來支持其數據分析和機器學習
•淘寶：國內使用Hadoop最深入的公司，整個淘寶和阿里都是數據驅動的
•華爲：雲計算平臺
•優酷：日誌分析、推薦等
•奇虎360：存儲軟件管家中的軟件，日誌分析和數據挖掘
•百度: 國內使用Hadoop最早的公司，存儲、日誌分析、推薦、機器學習等