Hadoop（一） Windows安裝

一、下載hadoop

• 下載地址 
  http://hadoop.apache.org

• 解壓     

• 關於winutils的下載 
  還需要下載winutils.exe,需要對應的版本.地址https://github.com/steveloughran/winutils,下載之後直接解壓,將bin目錄裏的內容直接覆蓋到hadoop的bin 。將其中的hadoop.dll在c:/windows/System32下也放一份。

二、配置hadoop

• 首先配置環境變量 
  1.新建HADOOP_HOME變量     2.在path中添加  %HADOOP_HOME%\bin,

• 配置hadoop文件 
  所有的配置文件都在D:\hadoop\etc\hadoop的目錄下,使用記事本打開.

  • 文件1:D:\hadoop\etc\hadoop\hadoop-env.cmd jdk路徑不要有空格

    set JAVA_HOME=D:\Java\jdk1.8

  • 文件2:D:\hadoop\etc\hadoop\core-site.xml

      <configuration>
        <property>  
    　　　　<name>fs.default.name</name>  
    　　　　<value>hdfs://localhost:9000</value>  
    　　 </property>     
      </configuration>

  • 文件3:D:\hadoop\etc\hadoop\hdfs-site.xml

    <configuration>
    <property>  
    　　<name>dfs.replication</name>  
    　　<value>1</value>  
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/hadoop/data/dfs/namenode</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/hadoop/data/dfs/datanode</value>
    </property> 
    </configuration>

  • 文件4:D:\hadoop\etc\hadoop\mapred-site.xml mapred-site.xml是複製mapred-site.xml.template,去掉template

    <configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
    </configuration>

  • 文件5:D:\hadoop\etc\hadoop\yarn-site.xml 
    

    <configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

  • 
    

---

三、啓動hadoop

使用管理員運行cmd

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //進入到sbin目錄下
start-dfs.cmd   //先啓動dfs  
start-yarn.cmd  //再啓動yarn  
//或者
//start-all.cmd //相當於以上的兩條命令

啓動完成，在地址欄輸入http://localhost:8088 

在地址欄輸入http://localhost:50070 

正常訪問，安裝完成 。

詳細配置參考 : http://blog.csdn.net/xuechongyang/article/details/8691518

---

配置好環境變量後，打開cmd 輸入hadoop version 的時候出現以下錯誤：

Error: JAVA_HOME is incorrectly set.

Please update F:\hadoop\conf\hadoop-env.cmd

1.用路徑替代符

C:\PROGRA~1\Java\jdk1.8.0_91

PROGRA~1  ===== C:\Program Files 目錄的dos文件名模式下的縮寫
長於8個字符的文件名和文件夾名，都被簡化成前面6個有效字符，後面~1，有重名的就 ~2,~3,