Hadoop如何修改HDFS文件存儲塊大小

一、 臨時修改

可以在執行上傳文件命令時，顯示地指定存儲的塊大小。

1. 查看當前 HDFS文件塊大小

我這裏查看HDFS上的TEST目錄下的jdk-7u25-linux-x64.gz  文件存儲塊大小。

1.1 終端命令方式查看

[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz
51200

單位爲B（字節）

1.2  或頁面方式查看

打開haddop datanode節點的hdfs監控頁面：

http://hadoop01:50070

如下所示：

二、永久修改

這個需要修改hdfs-site.conf配置文件，增加全局參數dfs.block.size。

如下：

修改後參數

把配置同步到其它節點，並重啓hdfs。

[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/stop-dfs.sh
no namenode to stop
hadoop02: stopping datanode
hadoop01: stopping secondarynamenode
[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/start-dfs.sh
starting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.out
hadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.out
hadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out

重新查看TEST/jdk-7u25-linux-x64.gz 文件存儲的塊大小：

重新上傳文件到HDFS，並重命名爲 比較用_jdk-7u25-linux-x64.gz

參考資料：

http://hadoop.apache.org/docs/r0.18.3/cluster_setup.html#Configuration