HDFS容量的調整



Hadoop中,數據文件放在HDFS上,每個DataNode的的數據文件存放的位置通過DataNodehdfs-site.xml的屬性dfs.data.dir設定,因此該屬性指定的目錄的空間容量決定了每個DataNode的容量,從而決定了HDFS的總容量。

CentOSIDH(Intel Distributtion Hadoop)默認情況下設定的dfs.data.dir的屬性值爲/var/hadoop/data。在默認情況下,該目錄分配的空間只有50G,因此在配置集羣的時候一定要注意指定DataNodedfs.data.dir值,指定的值必須是具有最大空間的掛載點上的目錄,並且登錄用戶對該目錄具有完全的控制能力。如果該目錄操作權限不足,則無法完成啓動集羣服務。

   如果因爲設計問題,需要對dfs.data.dir重新指定,則在指定好後,一定要對集羣進行重新格式,並且要保證格式化成功,才能保證後續服務的正常啓動。這樣一來,就會把原有的數據格式化掉,因此在集羣安裝的時候務必注意dfs.data.dir屬性的指定
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章