HDFS的優缺點,高級使用命令及安全模式介紹

HDFS 特性

1.海量數據存儲: HDFS可橫向擴展,其儲存文件可以支持PB級別數據

2.高容錯性: 節點丟失,系統依然可用,數據保存多個副本,副本丟失後自動回覆。

可構建在廉價(與小型機大型機比)的機器上, 實現線性擴展(隨着節點數量的增加,集羣的存儲能力,計算能力隨之增加)

3.大文件存儲:DFS採用數據塊的方式存儲數據,將一個大文件切分成多個小文件,分佈存儲

HDFS 缺點

1.不能做到低延遲數據訪問: HDFS針對一次性讀取大量數據繼續了優化,犧牲了延遲性。

2.不適合大量的小文件存存儲:

A:由於namenode將文件系統的元數據存儲在內存中,因此該文件系統所能存儲的文件總數受限於namenode的內存容量

B:每個文件,目錄和數據塊的存儲信息大約佔150字節。

由於以上兩個原因,所以導致HDFS不適合大量的小文件存儲

3.文件的修改: 不適合多次寫入,一次讀取(少量讀取)

4.不支持多用戶的並行寫

HDFS高級命令

HDFS上的某一個特定的目錄存儲的數據副本 、數據量、文件的個數進行設置。

設置目錄可以存儲的文件的數量 hdfs dfsadmin -setQuota 100 lisi (文件夾本身算一個)

清空文件夾內數據良方的限制 hdfs dfsadmin -clrQuota /user/root/lisi

限制文件夾下存儲的數據量 hdfs dfsadmin -setSpaceQuota 100M /user/root/lisi

清空文件夾數量的限制 hdfs dfsadmin -clrSpaceQuota /user/root/lisi

查看文件夾的限額數 hdfs dfs -count -q -h /user/root/lisi

HDFS安全模式

安全模式是HDFS所處的一種特殊狀態,在這種狀態下,文件系統只接受讀數據請求,而不接受刪除、修改等變更請
求。

HDFS什麼時候進入安全模式:在NameNode主節點啓動時,HDFS首先進入安全模式

在安全模式下做了什麼: DataNode在啓動的時候會向namenode彙報可用的block等狀態

查看hdfs在什麼模式 hdfs dfsadmin -safemode get

進入hdfs安全模式 hdfs dfsadmin -safemode enter

退出hdfs安全模式 hdfs dfsadmin -safemode leave

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章