Hadoop2.6.5集羣搭建（包含單節點安裝方法）

集羣安裝

一，安裝環境

硬件：虛擬機
操作系統：Centos 6.5 64位
安裝用戶：root
IP：192.168.235.130 主機名：vm01
IP：192.168.235.131 主機名：vm02
IP：192.168.235.132 主機名：vm03
其中vm01爲master節點，vm02和vm03爲slave節點。

二，安裝JDK

安裝JDK1.6或者以上版本。安裝方法不在此討論，網上教程一大把。
本次安裝的版本爲1.8.0_131
安裝路徑：/usr/java/jdk1.8.0_131

三，配置SSH無密碼登陸

注：本機也需要設置。

$ ssh-keygen -t rsa
$ ssh-copy-id root@vm01
$ exit
$ ssh-copy-id root@vm02
$ exit
$ ssh-copy-id root@vm03

驗證ssh，

# ssh vm01

不需要輸入密碼即可登錄。

四，安裝Hadoop2.6.5

首先在master節點vm01上安裝。

1，下載Hadoop2.6.5
下載地址：http://pan.baidu.com/s/1pKGTqbx 密碼：sfh1

2，解壓安裝
1），複製 hadoop-2.6.5.tar.gz 到/root/hadoop目錄下，
然後#tar -xzvf hadoop-2.6.5.tar.gz 解壓，解壓後目錄爲：/opt/hadoop/hadoop-2.6.5
2），在/root /hadoop/目錄下，建立tmp、hdfs/name、hdfs/data目錄，執行如下命令

#mkdir /opt/hadoop/tmp
#mkdir -p /opt/hadoop/hdfs/data
#mkdir /opt/hadoop/hdfs/name

注：如果在hdfs初始化時報錯並且無法啓動namenode，請刪除上述創建的目錄，只保留/opt/hadoop/hdfs目錄再重試。

3），設置環境變量，#vi /etc/profile

# set hadoop path
export HADOOP_HOME=/opt/hadoop/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

注：一定要配置$HADOOP_HOME/lib，否則執行時可能會提示找不到類。

4)，使環境變量生效，#source /etc/profile

3，Hadoop配置
進入$HADOOP_HOME/etc/hadoop目錄，配置 hadoop-env.sh等。涉及的配置文件如下：
hadoop-2.6.5/etc/hadoop/hadoop-env.sh
hadoop-2.6.5/etc/hadoop/yarn-env.sh
hadoop-2.6.5/etc/hadoop/core-site.xml
hadoop-2.6.5/etc/hadoop/hdfs-site.xml
hadoop-2.6.5/etc/hadoop/mapred-site.xml
hadoop-2.6.5/etc/hadoop/yarn-site.xml

1）配置hadoop-env.sh

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/Java/jdk1.8.0_131

2）配置yarn-env.sh

#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/Java/jdk1.8.0_131

3）配置core-site.xml
添加如下配置：

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://vm01:9000</value>
    <description>HDFS的URI，文件系統://namenode標識:端口號</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
    <description>namenode上本地的hadoop臨時文件夾</description>
</property>
</configuration>

4），配置hdfs-site.xml
添加如下配置

<configuration>
<!—hdfs-site.xml-->
<property>
    <name>dfs.name.dir</name>
    <value>/opt/hadoop/hdfs/name</value>
    <description>namenode上存儲hdfs名字空間元數據 </description> 
</property>

<property>
    <name>dfs.data.dir</name>
    <value>/opt/hadoop/hdfs/data</value>
    <description>datanode上數據塊的物理存儲位置</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數，配置默認是3,應小於datanode機器數量</description>
</property>
</configuration>

5），配置mapred-site.xml
添加如下配置：

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

6），配置yarn-site.xml
添加如下配置：

<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
</configuration>

7），配置slaves文件

$ vim $HADOOP_HOME/etc/hadoop/slaves

在文件中寫入salve節點的主機名：

vm02
vm03

到此master節點配置完成，slaves節點與master節點配置一致，只需在vm02和vm03上將上述操作重複一遍即可，推薦直接將配置好的安裝目錄和環境變量複製一份到其他兩個節點。

4，Hadoop啓動
1）格式化namenode(只需第一次啓動時執行)

$ bin/hdfs namenode –format

2）啓動NameNode 和 DataNode 守護進程

$ sbin/start-dfs.sh

啓動成功後可在瀏覽器輸入 http://vm01:50070 查看hdfs詳情。
3）啓動ResourceManager 和 NodeManager 守護進程

$ sbin/start-yarn.sh

5，啓動驗證
1）執行jps命令，有如下進程，說明Hadoop正常啓動

# jps

5509 NodeManager
5833 Jps
4683 NameNode
4796 DataNode
5421 ResourceManager
4943 SecondaryNameNode

2）在瀏覽器中輸入：http://vm01:8088/ 即可看到YARN的ResourceManager的界面。注意：端口通過以下配置設置
yarn-site.xml

<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
</property>

單節點安裝（僞分佈式）

開發調試一般只需要一個節點即可，那麼我們需要將master和slaves安裝在同一臺機器。
安裝方式和上述集羣安裝一致，不同的地方在slaves文件的內容，在這個文件中寫入本機的主機名或ip即可。

$ vim $HADOOP_HOME/etc/hadoop/slaves

在文件中寫入salve節點的主機名：

vm01