hadoop中的hdfs簡介

轉載請註明出處:www.oldboyedu.com


隨着互聯網數據規模的不斷增大,對文件存儲系統提出了更高的要求,需要更大的容量、更好的性能以及更高安全性的文件存儲系統,與傳統分佈式文件系統一樣,HDFS分佈式文件系統也是通過計算機網絡與節點相連,但也有優於傳統分佈式文件系統的優點。

1. 支持超大文件

HDFS分佈式文件系統具有很大的數據集,可以存儲TBPB級別的超大數據文件,能夠提供比較高的數據傳輸帶寬與數據訪問吞吐量,相應的,HDFS開放了一些POSIX的必須接口,容許流式訪問文件系統的數據。

2. 高容錯性能

HDFS面向的是成百上千的服務器集羣,每臺服務器上存儲着文件系統的部分數據,在集羣的環境中,硬件故障是常見的問題,這就意味着總是有一部分硬件因各種原因而無法工作,因此,錯誤檢測和快速、自動的恢復是HDFS最核心的架構目標,因此,HDFS具有高度的容錯性。

3. 高數據吞吐量

HDFS採用的是“一次性寫,多次讀”這種簡單的數據一致性模型,在HDFS中,一個文件一旦經過創建、寫入、關閉後,一般就不需要修改了,這樣簡單的一致性模型,有利於提高吞吐量。

4. 流式數據訪問

HDFS的數據處理規模比較大,應用一次需要訪問大量的數據,同時這些應用一般都是批量處理,而不是用戶交互式處理,應用程序能以流的形式訪問數據集。

Hadoop已經迅速成長爲首選的、適用於非結構化數據的大數據分析解決方案,HDFS分佈式文件系統Hadoop的核心組件之一,保證了大數據的可靠存儲,與MapReduce配合使用,可以對結構化和複雜大數據進行快速、可靠分析,從而爲企業做出更好的決策,促進收入增長,改善服務,降低成本提供有力支撐!


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章