在Hadoop中,數據文件放在HDFS上,每個DataNode的的數據文件存放的位置通過DataNode的hdfs-site.xml的屬性dfs.data.dir設定,因此該屬性指定的目錄的空間容量決定了每個DataNode的容量,從而決定了HDFS的總容量。
在CentOS,IDH(Intel Distributtion Hadoop)默認情況下設定的dfs.data.dir的屬性值爲/var/hadoop/data。在默認情況下,該目錄分配的空間只有50G,因此在配置集羣的時候一定要注意指定DataNode的dfs.data.dir值,指定的值必須是具有最大空間的掛載點上的目錄,並且登錄用戶對該目錄具有完全的控制能力。如果該目錄操作權限不足,則無法完成啓動集羣服務。
如果因爲設計問題,需要對dfs.data.dir重新指定,則在指定好後,一定要對集羣進行重新格式,並且要保證格式化成功,才能保證後續服務的正常啓動。這樣一來,就會把原有的數據格式化掉,因此在集羣安裝的時候務必注意dfs.data.dir屬性的指定