HDFS 特性
1.海量數據存儲: HDFS可橫向擴展,其儲存文件可以支持PB級別數據
2.高容錯性: 節點丟失,系統依然可用,數據保存多個副本,副本丟失後自動回覆。
可構建在廉價(與小型機大型機比)的機器上, 實現線性擴展(隨着節點數量的增加,集羣的存儲能力,計算能力隨之增加)
3.大文件存儲:DFS採用數據塊的方式存儲數據,將一個大文件切分成多個小文件,分佈存儲
HDFS 缺點
1.不能做到低延遲數據訪問: HDFS針對一次性讀取大量數據繼續了優化,犧牲了延遲性。
2.不適合大量的小文件存存儲:
A:由於namenode將文件系統的元數據存儲在內存中,因此該文件系統所能存儲的文件總數受限於namenode的內存容量
B:每個文件,目錄和數據塊的存儲信息大約佔150字節。
由於以上兩個原因,所以導致HDFS不適合大量的小文件存儲
3.文件的修改: 不適合多次寫入,一次讀取(少量讀取)
4.不支持多用戶的並行寫
HDFS高級命令
HDFS上的某一個特定的目錄存儲的數據副本 、數據量、文件的個數進行設置。
設置目錄可以存儲的文件的數量 hdfs dfsadmin -setQuota 100 lisi (文件夾本身算一個)
清空文件夾內數據良方的限制 hdfs dfsadmin -clrQuota /user/root/lisi
限制文件夾下存儲的數據量 hdfs dfsadmin -setSpaceQuota 100M /user/root/lisi
清空文件夾數量的限制 hdfs dfsadmin -clrSpaceQuota /user/root/lisi
查看文件夾的限額數 hdfs dfs -count -q -h /user/root/lisi
HDFS安全模式
安全模式是HDFS所處的一種特殊狀態,在這種狀態下,文件系統只接受讀數據請求,而不接受刪除、修改等變更請
求。
HDFS什麼時候進入安全模式:在NameNode主節點啓動時,HDFS首先進入安全模式
在安全模式下做了什麼: DataNode在啓動的時候會向namenode彙報可用的block等狀態
查看hdfs在什麼模式 hdfs dfsadmin -safemode get
進入hdfs安全模式 hdfs dfsadmin -safemode enter
退出hdfs安全模式 hdfs dfsadmin -safemode leave