在騰訊雲下搭建Hadoop僞分佈式模式

安裝包準備

1. JDK1.7.X安裝包（64位）
2. Hadoop2.6.0安裝包（64位）

環境準備

1.設置IP地址

執行命令：service network restart
驗證：ifconfig

2.關閉防火牆

執行命令：service iptables stop
驗證：service iptables status

3.關閉防火牆的自動運行

執行命令：chkconfig iptables off
驗證:chkconfig --list | grep iptables

4.設置主機名

執行命令：vi /etc/sysconfig/network

5.IP與主機名綁定

執行命令:vi /etc/hosts

6.設置ssh免密碼登陸

執行命令：（1）ssh-keygen -t rsa
（2）cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

安裝jdk

1.執行命令cd /usr/local

chmod u+x jdk-7u79-linux-x64.tar.gz
tar -zxvf jdk-7u79-linux-x64.tar.gz //解壓jdk
mv jdk1.7.0_79 jdk //將 jdk1.7.0_79改爲jdk

2. 配置jdk環境變量

vi /etc/profile 增加如下內容：

export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH

3.執行命令source /etc/profile

安裝hadoop2.6.0

1.在 /usr/local目錄下解壓hadoop2.6.0安裝包
2.將解壓後的文件夾改爲hadoop
3.修改/etc/profile文件

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$PATH

執行命令source /etc/profile
執行cd /usr/local/hadoop/etc/hadoop命令，更改配置文件。

更改配置文件

#hadoop-env.sh文件

export JAVA_HOME=/usr/local/jdk

#core-site.xml文件

<configuration>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/usr/hadoop/tmp</value>
      </property>
      <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
      </property>
</configuration>

#hdfs-site.xml文件

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/usr/hadoop/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/usr/hadoop/dfs/data</value>
     </property>
     <property>
         <name>dfs.permissions</name>
         <value>false</value>
      </property>
</configuration>

#yarn-site.xml文件

> <configuration>
>      <property>
>         <name>mapreduce.framework.name</name>
>         <value>yarn</value>
>      </property>
>      <property>
>         <name>yarn.nodemanager.aux-services</name>
>         <value>mapreduce_shuffle</value>
>      </property> 
></configuration>

對namenode進行初始化(/usr/local/hadoop目錄下)

命令：bin/hadoop namenode –format
啓動namenode:
sbin/hadoop-daemon.sh start namenode
啓動datanode:
sbin/hadoop-daemon.sh start datanode
啓動Yarn
命令：sbin/start-yarn.sh

在sbin目錄下啓動hadoop： start-all.sh
停止所有的hadoop進程： stop-all.sh