轉載請註明出處:www.oldboyedu.com
隨着互聯網數據規模的不斷增大,對文件存儲系統提出了更高的要求,需要更大的容量、更好的性能以及更高安全性的文件存儲系統,與傳統分佈式文件系統一樣,HDFS分佈式文件系統也是通過計算機網絡與節點相連,但也有優於傳統分佈式文件系統的優點。
1. 支持超大文件
HDFS分佈式文件系統具有很大的數據集,可以存儲TB或PB級別的超大數據文件,能夠提供比較高的數據傳輸帶寬與數據訪問吞吐量,相應的,HDFS開放了一些POSIX的必須接口,容許流式訪問文件系統的數據。
2. 高容錯性能
HDFS面向的是成百上千的服務器集羣,每臺服務器上存儲着文件系統的部分數據,在集羣的環境中,硬件故障是常見的問題,這就意味着總是有一部分硬件因各種原因而無法工作,因此,錯誤檢測和快速、自動的恢復是HDFS最核心的架構目標,因此,HDFS具有高度的容錯性。
3. 高數據吞吐量
HDFS採用的是“一次性寫,多次讀”這種簡單的數據一致性模型,在HDFS中,一個文件一旦經過創建、寫入、關閉後,一般就不需要修改了,這樣簡單的一致性模型,有利於提高吞吐量。
4. 流式數據訪問
HDFS的數據處理規模比較大,應用一次需要訪問大量的數據,同時這些應用一般都是批量處理,而不是用戶交互式處理,應用程序能以流的形式訪問數據集。
Hadoop已經迅速成長爲首選的、適用於非結構化數據的大數據分析解決方案,HDFS分佈式文件系統是Hadoop的核心組件之一,保證了大數據的可靠存儲,與MapReduce配合使用,可以對結構化和複雜大數據進行快速、可靠分析,從而爲企業做出更好的決策,促進收入增長,改善服務,降低成本提供有力支撐!