Hadoop操作HDFS命令

轉載自:http://www.juziku.com/sunlightcs/wiki/6017.htm

hadoop fs
查看Hadoop HDFS支持的所有命令

hadoop fs –ls
列出目錄及文件信息

hadoop fs –lsr
循環列出目錄、子目錄及文件信息

hadoop fs –put test.txt /user/sunlightcs
將本地文件系統的test.txt複製到HDFS文件系統的/user/sunlightcs目錄下

hadoop fs –get /user/sunlightcs/test.txt .
將HDFS中的test.txt複製到本地文件系統中,與-put命令相反

hadoop fs –cat /user/sunlightcs/test.txt
查看HDFS文件系統裏test.txt的內容

hadoop fs –tail /user/sunlightcs/test.txt
查看最後1KB的內容

hadoop fs –rm /user/sunlightcs/test.txt
從HDFS文件系統刪除test.txt文件,rm命令也可以刪除空目錄

hadoop fs –rmr /user/sunlightcs 
刪除/user/sunlightcs目錄以及所有子目錄

hadoop fs –copyFromLocal test.txt /user/sunlightcs/test.txt
從本地文件系統複製文件到HDFS文件系統,等同於put命令

hadoop fs –copyToLocal /user/sunlightcs/test.txt test.txt
從HDFS文件系統複製文件到本地文件系統,等同於get命令

hadoop fs –chgrp [-R] /user/sunlightcs
修改HDFS系統中/user/sunlightcs目錄所屬羣組,選項-R遞歸執行,跟linux命令一樣

hadoop fs –chown [-R] /user/sunlightcs
修改HDFS系統中/user/sunlightcs目錄擁有者,選項-R遞歸執行

hadoop fs –chmod [-R] MODE /user/sunlightcs
修改HDFS系統中/user/sunlightcs目錄權限,MODE可以爲相應權限的3位數或+/-{rwx},選項-R遞歸執行

hadoop fs –count [-q] PATH
查看PATH目錄下,子目錄數、文件數、文件大小、文件名/目錄名

hadoop fs –cp SRC [SRC …] DST      
將文件從SRC複製到DST,如果指定了多個SRC,則DST必須爲一個目錄

hadoop fs –du PATH
顯示該目錄中每個文件或目錄的大小

hadoop fs –dus PATH
類似於du,PATH爲目錄時,會顯示該目錄的總大小

hadoop fs –expunge 
清空回收站,文件被刪除時,它首先會移到臨時目錄.Trash/中,當超過延遲時間之後,文件纔會被永久刪除

hadoop fs –getmerge SRC [SRC …] LOCALDST [addnl]     
獲取由SRC指定的所有文件,將它們合併爲單個文件,並寫入本地文件系統中的LOCALDST,選項addnl將在每個文件的末尾處加上一個換行符

hadoop fs –touchz PATH  
創建長度爲0的空文件

hadoop fs –test –[ezd] PATH    
對PATH進行如下類型的檢查:
-e PATH是否存在,如果PATH存在,返回0,否則返回1
-z 文件是否爲空,如果長度爲0,返回0,否則返回1
-d 是否爲目錄,如果PATH爲目錄,返回0,否則返回1

hadoop fs –text PATH
顯示文件的內容,當文件爲文本文件時,等同於cat,文件爲壓縮格式(gzip以及hadoop的二進制序列文件格式)時,會先解壓縮

hadoop fs –help ls
查看某個[ls]命令的幫助文檔

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章