Hadoop-3.0.0版本Windows安裝
一 、安裝Hadoop
從http://archive.apache.org/dist/hadoop/core/下載Hadoop-3.0.0，下載二進制壓縮包文件：hadoop-3.0.0.tar.gz ，也可以在我的雲盤裏下載：鏈接：Hadoop-3.0.0 提取碼：f5kq PS：在這裏爲了解壓成功，所以最好將解壓軟件用管理員身份運行進行解壓。
從https://github.com/steveloughran/winutils下載針對Windows環境的Hadoop修正程序winutils（Hadoop-3.0.0對應路徑https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 ）。如果不會用Git工具下載，可以直接下載打包文件https://github.com/steveloughran/winutils/archive/master.zip，然後解壓。也可以在我的雲盤裏提取：鏈接：winutils-master 提取碼：lty8
確保自己的計算機上已經正確安裝了JDK 1.8以上的Java開發和運行環境。（可以通過在命令行方式下運行java –version命令進行驗證）
將hadoop-3.0.0.tar.gz解壓至C:\Hadoop子目錄（可以根據自己喜好更改Hadoop安裝目錄） PS:解壓後爲了不出現問題，請大家把解壓的文件名改爲 hadoop，不要出現-3.0.0
新增環境變量HADOOP_HOME（作爲系統變量），並將其值設爲“C:\Hadoop”。（設置方法：進入“控制面板\系統和安全\系統”，然後點擊“高級系統設置”，然後點擊“環境變量(N)..”按鈕）
觀察JAVA_HOME變量設置是否正確。（本人計算機上的JAVA_HOME被設置爲C:\Program Files\Java\jdk1.8.0_192）
將“C:\Hadoop\bin”和“C:\Hadoop\sbin”路徑添加到Path環境變量。
將如下內容粘貼到C:\Hadoop\etc\hadoop\core-site.xml文件：
注意是將兩個configuration之間的內容粘貼到原文件的兩個configuration之間
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
9.將如下內容粘貼到C:\Hadoop\etc\hadoop\mapred-site.xml文件：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
10.在C:\Hadoop路徑下創建“data”子目錄；
在C:\Hadoop\data路徑下創建“namenode”子目錄；
在C:\Hadoop\data路徑下創建“datanode”子目錄。
11.將如下內容粘貼到C:\Hadoop\etc\hadoop\hdfs-site.xml文件：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///C:/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///C:/hadoop/data/datanode</value>
</property>
</configuration>
12.將如下內容粘貼到C:\Hadoop\etc\hadoop\yarn-site.xml文件：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
13.編輯文件C:\Hadoop\etc\hadoop\hadoop-env.cmd，將語句：
“set JAVA_HOME=%JAVA_HOME%”
修改爲“set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_192”。
（PS：此處有坑。如果將hadoop-env.cmd中的JAVA_HOME設置爲“C:\Program Files\Java\jdk1.8.0_192”，將會出錯，因爲路徑中不能含有空格。所以你最好把你的文件路徑都設置成英文的，還不能有空格。同時建議你的以後環境變量配置都遵循這一原則）
14.C:\Hadoop\bin目錄下的內容刪除。
15.將第2步下載的“winutils-master.zip”解壓，然後將解壓文件中“..\winutils-master\hadoop-3.0.0\bin”目錄下的內容拷貝到“C:\Hadoop\bin”目錄。
二/檢驗Hadoop是否按照成功
經過前面15步，Hadoop安裝結束。
運行如下命令測試Hadoop是否可以正常運行：
運行命令“hdfs namenode –format”，先對HDFS分佈式文件系統進行格式化。 如果成功就會產生這樣的內容： 在這一行 *號下面要檢查是不是出現了問題，如果出現了問題一定要複製粘貼問題進行查詢。 2.進入“C:\Hadoop\sbin”目錄運行命令“start-dfs”。如果一切正常，將會啓動一個“hdfs namenode”進程和一個“hdfs datanode”進程，構成了只有1個主節點和1個從節點的“HDFS分佈式文件系統集羣”。可以通過“http://localhost:9870”監控HDFS系統。（用jps命令可以查看所有jvm相關的進程）HDFS分佈式文件系正常啓動之後，可以用“hadoop fs”或“hdfs dfs”命令在分佈式文件系統中實現“瀏覽目錄”、“創建子目錄”、“刪除子目錄”、“創建文件”、“拷貝文件”、“移動子目錄或文件”、“查看文件內容”、“刪除文件”、“上傳本地文件”等操作。
hadoop fs –ls /
顯示根目錄下的所有文件和目錄
hadoop fs –mkdir /test
創建子目錄/test，創建多級目錄 加上 –p
hadoop fs -rm /test1.txt
刪除文件
hadoop fs -rm -r /test
刪除子目錄（要加-r參數）
hadoop fs -put C:\tmp\test.txt \test
將本地文件上傳到HDFS分佈式文件系統
hadoop fs -cat \test\test.txt
查看文件內容
hadoop fs -cp URI [URI …] <dest>
cp 複製系統內文件
hadoop fs -get[-ignorecrc] [-crc] <src> <localdst>
下載文件到本地
hadoop fs -mv URI [URI …] <dest>
將文件從源路徑移動到目標路徑
hadoop fs -du URI [URI …]
顯示文件大小
3.http://localhost:9870工具中在“utilities”菜單下有一個“Browse the File System”工具，可以瀏覽、操作HDFS分佈式文件系統。
4.進入“C:\Hadoop\sbin”目錄運行命令“stop-dfs”，關閉HDFS分佈式文件系統。
版權聲明：本文爲CSDN博主「美 味」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/mr_yuntuo/article/details/90728174
