HDFS合併小文件

關鍵字：hadoop hdfs 小文件、appendToFile、getmerge

衆所周知，HDFS中過多的小文件，會給NameNode造成很大的壓力，所謂的小文件，是指遠遠小於文件塊大小的文件。

在使用HDFS的過程中，應儘量避免生成過多的小文件。

本文以TextFile爲例，介紹一下從本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上傳下載移動過程中，對小文件的合併方法。

將本地的小文件合併，上傳到HDFS

假設存放在本地的數據由很多個小文件組成，需要上傳到HDFS。一般的做法是在本地使用腳本、程序先把小文件合併後再上傳。

其實沒有必要，HDFS中提供了一個很有用的命令 appendToFile，就可以解決這個問題。

假設本地有兩個小文件1.txt和2.txt，裏面內容如下：

1. [liuxiaowen@dev ~]$ cat 1.txt
2. 111111
3. 111111
4. 111111
5. 111111
6. [liuxiaowen@dev ~]$ cat 2.txt
7. 222222
8. 222222
9. 222222
10. 222222

使用下面的命令，可以將1.txt和2.txt合併，並上傳到HDFS：

1. [liuxiaowen@dev ~]$ hadoop fs -appendToFile 1.txt 2.txt hdfs://cdh5/tmp/lxw1234.txt
2. [liuxiaowen@dev ~]$ hadoop fs -cat hdfs://cdh5/tmp/lxw1234.txt
3. 111111
4. 111111
5. 111111
6. 111111
7. 222222
8. 222222
9. 222222
10. 222222

 

下載HDFS的小文件到本地，合併成一個大文件

假設在HDFS的/tmp/lxw1234/目錄下，有兩個小文件1.txt和2.txt

需要將它們下載到本地的一個文件中。

1. [liuxiaowen@dev ~]$ hadoop fs -cat /tmp/lxw1234/1.txt
2. 111111
3. 111111
4. 111111
5. 111111
6. [liuxiaowen@dev ~]$ hadoop fs -cat /tmp/lxw1234/2.txt
7. 222222
8. 222222
9. 222222
10. 222222

使用下面的命令：

1. [liuxiaowen@dev ~]$ hadoop fs -getmerge hdfs://cdh5/tmp/lxw1234/*.txt local_largefile.txt
2. [liuxiaowen@dev ~]$ cat local_largefile.txt
3. 111111
4. 111111
5. 111111
6. 111111
7. 222222
8. 222222
9. 222222
10. 222222

合併HDFS上的小文件

如果需要合併HDFS上的某個目錄下有很多小文件，可以嘗試使用下面的命令：

1. [liuxiaowen@dev ~]$ hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt
2. [liuxiaowen@dev ~]$ hadoop fs -cat hdfs://cdh5/tmp/hdfs_largefile.txt
3. 111111
4. 111111
5. 111111
6. 111111
7. 222222
8. 222222
9. 222222
10. 222222

注意：這種處理方法在數據量非常大的情況下可能不太適合，最好使用MapReduce來合併。

 

轉自:合併HDFS和本地文件系統中的小文件