3、HDFS的shell命令大全

基本語法：hadoop fs option 或者hfds dfs option，其中option爲具體操作命令。

命令大全

1、-help

hadoop fs -help ls

-help幫助命令，用來幫助查詢其它命令的用法。用-help命令執行ls，可以顯示出ls命令的所有可選參數。

2、-ls 顯示目錄信息

hadoop fs -ls /

查看根目錄下的文件和文件夾。

3、-mkdir 在HDFS上創建目錄

hadoop fs -mkdir -p /user/shanghai

在/user目錄下創建了shanghai目錄，-p表示如果 /user/shanghai目錄已經存在了，該命令不會失敗，不會創建新的 /user/shanghai覆蓋原來的目錄，只是命令不報錯而已。如果去掉-p，執行命令後，如果 /user/shanghai目錄已經存在，該命令會報目錄已經存在。

4、-moveFromLocal 從本地剪切到HDFS上

hadoop fs -moveFromLocal shanghai1.txt /user/shanghai/

執行命令後，本地的shanghai1.txt文件將不存在。

5、-appendToFile 追加本地文件到HDFS文件末尾

hadoop fs -appendToFile shanghai2.txt /user/shanghai/shanghai1.txt

把本地shanghai2.txt文件中的內容追加到HDFS上的 /user/shanghai/shanghai1.txt文件中。

6、-cat 顯示文件內容

hadoop fs -cat /user/shanghai/shanghai1.txt

顯示HDFS系統上/user/shanghai/shanghai1.txt文件的內容

7、-chmod 修改文件權限

hadoop fs -chmod 777 /user/shanghai/shanghai1.txt

把hdfs上/user/shanghai/shanghai1.txt文件的選線改爲777。

8、-copyFromLocal 從本地拷貝到HDFS

hadoop fs -copyFromLocal shanghai2.txt /user/shanghai

把本地當前目錄下的shanghai2.txt文件複製到HDFS的/user/shanghai目錄下。

9、-copyToLocal 從HDFS拷貝到本地

hadoop fs -copyToLocal /user/shanghai/shanghai1.txt

把HDFS中的/user/shanghai/shanghai1.txt複製到本地當前目錄下。

10、-cp HDFS內部文件拷貝

hadoop fs -cp /user/shanghai/shanghai2.txt /user/shanghai/songjiang

把HDFS上/user/shanghai/shanghai2.txt文件拷貝到 /user/shanghai/songjiang目錄下。

11、-mv HDFS內部移動

hadoop fs -mv /user/shanghai/shanghai1.txt /user/shanghai/songjiang

把HDFS上的 /user/shanghai/shanghai1.txt移到/user/shanghai/songjiang目錄下。

12、-get 從HDFS下載文件到本地，同copyToLocal

hadoop fs -get /user/shanghai/songjiang/shanghai1.txt

把HDFS上的/user/shanghai/songjiang/shanghai1.txt文件下載到本地當前目錄下。

13、 -getmerge 合併HDFS上的多個文件進行下載

hadoop fs -getmerge /user/shanghai/songjiang/* shanghai.txt

把HDFS上的/user/shanghai/songjiang/目錄下的文件合併下載當本地當前目錄下shanghai.txt文件中，如果shanghai.txt不存在，會創建一個。

14、-put 等同於copyFromLocal

hadoop fs -put shanghai2.txt /user/lzj/shanghai/

把本地當前環境中的shanghai2.txt文件拷貝到HDFS的/user/lzj/shanghai/下。

15、-tail 顯示指定文件的尾部

hadoop fs -tail /user/lzj/shanghai3.txt

顯示HDFS上shanghai3.txt文件的尾部，與linux環境下tail應用類似。

16、-rm刪除文件或文件夾

hadoop fs -rm /user/lzj/shanghai2.txt

刪除HDFS上/user/lzj/shanghai2.txt文件。

17、-rmdir刪除空目錄

hadoop fs -rmdir /user/lzj/shanghai

刪除HDFS上的 /user/lzj/shanghai目錄，如果 /user/lzj/shanghai目錄非空，會提示目錄非空錯誤。

18、-du 統計文件夾或文件的大小信息

hadoop fs -du /user/lzj

顯示HDFS上/user/lzj目錄的大小信息。

19、-setrep 設置HDFS文件副本數量

hadoop fs -setrep 5 /user/lzj/shanghai.txt

設置HDFS上/user/lzj/shanghai.txt副本數量爲5份。如果集羣只有3臺設備，那麼最多也只有3個副本，只有當集羣等於或大於5臺時，副本數量才能達到5份。