hadoop命令大全

hadoop tasktracker
1、列出所有Hadoop Shell支持的命令
$ bin/hadoop fs -help
2、顯示關於某個命令的詳細信息
$ bin/hadoop fs -help command-name
3、用戶可使用以下命令在指定路徑下查看歷史日誌彙總
$ bin/hadoop job -history output-dir
這條命令會顯示作業的細節信息,失敗和終止的任務細節。
4、關於作業的更多細節,比如成功的任務,以及對每個任務的所做的嘗試次數等可以用下面的命令查看
$ bin/hadoop job -history alloutput-dir
5、 格式化一個新的分佈式文件系統:
$ bin/hadoop namenode -format
6、在分配的NameNode上,運行下面的命令啓動HDFS:
$ bin/start-dfs.sh
bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啓動DataNode守護進程。
7、在分配的JobTracker上,運行下面的命令啓動Map/Reduce:
$ bin/start-mapred.sh
bin/start-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啓動TaskTracker守護進程。
8、在分配的NameNode上,執行下面的命令停止HDFS:
$ bin/stop-dfs.sh
bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止DataNode守護進程。
9、在分配的JobTracker上,運行下面的命令停止Map/Reduce:
$ bin/stop-mapred.sh
bin/stop-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止TaskTracker守護進程。
DFSShell
10、創建一個名爲 /foodir 的目錄
$ bin/hadoop dfs -mkdir /foodir
11、創建一個名爲 /foodir 的目錄    
$ bin/hadoop dfs -mkdir /foodir
12、查看名爲 /foodir/myfile.txt 的文件內容    
$ bin/hadoop dfs -cat /foodir/myfile.txt
DFSAdmin
13、將集羣置於安全模式      
$ bin/hadoop dfsadmin -safemode enter
14、顯示Datanode列表    
$ bin/hadoop dfsadmin -report
15、使Datanode節點 datanodename退役    
$ bin/hadoop dfsadmin -decommission datanodename
16、bin/hadoop dfsadmin -help 命令能列出所有當前支持的命令。比如:
* -report:報告HDFS的基本統計信息。有些信息也可以在NameNode Web服務首頁看到。
* -safemode:雖然通常並不需要,但是管理員的確可以手動讓NameNode進入或離開安全模式。
* -finalizeUpgrade:刪除上一次升級時製作的集羣備份。
17、顯式地將HDFS置於安全模式
$ bin/hadoop dfsadmin -safemode
18、在升級之前,管理員需要用(升級終結操作)命令刪除存在的備份文件
$ bin/hadoop dfsadmin -finalizeUpgrade
19、能夠知道是否需要對一個集羣執行升級終結操作。
$ dfsadmin -upgradeProgress status
20、使用-upgrade選項運行新的版本
$ bin/start-dfs.sh -upgrade
21、如果需要退回到老版本,就必須停止集羣並且部署老版本的Hadoop,用回滾選項啓動集羣
$ bin/start-dfs.h -rollback


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章