Hadoop學習-安裝

一、hadoop介紹及其環境介紹

1.1 Hadoop簡介

　　Hadoop是Apache軟件基金會旗下的一個開源分佈式計算平臺。以Hadoop分佈式文件系統（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的開源實現）爲核心的Hadoop爲用戶提供了系統底層細節透明的分佈式基礎架構。

　　對於Hadoop的集羣來講，可以分成兩大類角色：Master和Salve。一個HDFS集羣是由一個NameNode和若干個DataNode組成的。其中NameNode作爲主服務器，管理文件系統的命名空間和客戶端對文件系統的訪問操作；集羣中的DataNode管理存儲的數據。MapReduce框架是由一個單獨運行在主節點上的JobTracker和運行在每個集羣從節點的TaskTracker共同組成的。主節點負責調度構成一個作業的所有任務，這些任務分佈在不同的從節點上。主節點監控它們的執行情況，並且重新執行之前的失敗任務；從節點僅負責由主節點指派的任務。當一個Job被提交時，JobTracker接收到提交作業和配置信息之後，就會將配置信息等分發給從節點，同時調度任務並監控TaskTracker的執行。

　　從上面的介紹可以看出，HDFS和MapReduce共同組成了Hadoop分佈式系統體系結構的核心。HDFS在集羣上實現分佈式文件系統，MapReduce在集羣上實現了分佈式計算和任務處理。HDFS在MapReduce任務處理過程中提供了文件操作和存儲等支持，MapReduce在HDFS的基礎上實現了任務的分發、跟蹤、執行等工作，並收集結果，二者相互作用，完成了Hadoop分佈式集羣的主要任務。

1.2 環境說明

集羣中包括4個節點：1個Master，3個Salve，節點之間局域網連接，可以相互ping通。節點IP地址分佈如下：

role	hostname	ip	release
master	Master.Hadoop	1.1.1.11	centos6.5
minion	Salve1.Hadoop	1.1.1.12	centos6.5
minion	Salve2.Hadoop	1.1.1.13	centos6.5
minion	Salve3.Hadoop	1.1.1.14	centos6.5

四個節點上均是CentOS6.5系統，並且有一個相同的用戶hadoop。Master機器主要配置NameNode和JobTracker的角色，負責總管分佈式數據和分解任務的執行；3個Salve機器配置DataNode和TaskTracker的角色，負責分佈式數據存儲以及任務的執行。其實應該還應該有1個Master機器，用來作爲備用，以防止Master服務器宕機，還有一個備用馬上啓用。後續經驗積累一定階段後補上一臺備用Master機器。

1.3 網絡配置

　　下面的例子我們將以Master機器爲例，即主機名爲”Master.Hadoop”，IP爲”192.168.1.2”進行一些主機名配置的相關操作。其他的Slave機器以此爲依據進行修改。

1）修改當前機器名稱

修改/etc/sysconfig/network”文件修改其中”HOSTNAME”後面的值，改成我們規劃的名稱。
修改類似：HOSTNAME=Master.Hdoop、HOSTNAME=Slave1.Hadoop …

2）配置hosts文件（必須）

> vim /etc/hosts
1.1.1.11 Master.Hadoop
1.1.1.12 Slave1.Hadoop
1.1.1.13 Slave2.Hadoop
1.1.1.14 Slave3.Hadoop  

1.4 安裝和啓動SSH協議

在各機器間配置祕鑰對，主從互相訪問，建議用hadoop用戶進行。

all:

ssh-keygen

把~/.ssh/id_rsa.pub追加到目標機器的~/.ssh/authorized_keys

slave:chmod 600 ~/.ssh/authorized_keys

因爲是實驗，建議把iptables和selinux關閉。

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux 
chkconfig iptables off
/etc/init.d/iptables stop

1.5 所需軟件

安裝salt，執行批量化安裝

1）JDK軟件

下載地址：https://www.reucon.com/cdn/java/

JDK版本：jdk-7u45-linux-x64.tar.gz

2）Hadoop軟件

下載地址：http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

Hadoop版本：hadoop-2.6.0.tar.gz

二、hadoop 環境部署

2.1安裝JDK

1）新建目錄

mkdir /data/{packages,sh,scripts,logs,py,tomcat,app} -p
cd /data/packages/
for i in `ls`;do tar xf $i;done

2.2配置環境變量

編輯”/etc/profile”文件，在後面添加Java的”JAVA_HOME”、”CLASSPATH”以及”PATH”內容。

mv jdk1.7.0_45/ /data/app/
echo 'export JAVA_HOME=/data/app/jdk1.7.0_45' >>/etc/profile
echo 'export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib::$JAVA_HOME/jre/lib' >>/etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin' >>/etc/profile
source /etc/profile
java -version  #查看java版本

爲所有機器執行此操作

三、hadoop的安裝和配置

3.1安裝hadoop

mv hadoop-2.6.0 /data/app/hadoop
chown hadoop.hadoop -R /data/app/hadoop

在”hadoop”下面創建tmp文件夾，把Hadoop的安裝路徑添加到”/etc/profile”中，修改”/etc/profile”文件（配置java環境變量的文件），將以下語句添加到末尾，並使其有效：

echo 'export HADOOP_HOME=/data/app/hadoop' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
source /etc/profile
mkdir /data/app/hadoop/tmp

3.2 配置hadoop

分別配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves

1）配置hadoop-env.sh

cd /data/app/hadoop/etc/hadoop/
echo 'export JAVA_HOME=/data/app/jdk1.7.0_45' >>hadoop-env.sh

2）配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml，這裏配置的是HDFS的地址和端口號。

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/data/app/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master.Hadoop:9000</value>
        </property>
<!--
        <property>
                <name>io.file.buffer.size</name>
                <value>512</value>
        </property>
-->
</configuration>

3）配置hdfs-site.xml文件

修改Hadoop中HDFS的配置，配置的備份方式默認爲3。

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///data/app/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///data/app/hadoop/dfs/data</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Master.Hadoop:50090</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

    <property>
    <name>dfs.datanode.ipc.address</name>
    <value>0.0.0.0:50020</value>
  </property>
  <property>
    <name>dfs.datanode.http.address</name>
    <value>0.0.0.0:50075</value>
  </property>

</configuration>

4）配置mapred-site.xml文件

修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <final>true</final>
        </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>Master.Hadoop:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master.Hadoop:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master.Hadoop:19888</value>
    </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://Master.Hadoop:9001</value>
        </property>
</configuration>

5）配置 yarm-site.xml文件

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Master.Hadoop</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>Master.Hadoop:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>Master.Hadoop:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>Master.Hadoop:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>Master.Hadoop:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>Master.Hadoop:8088</value>
    </property>

• 到此：單機的server就算是配好了，這個時候就可以啓動起來的可以看看效果；

四、變身集羣

4.1 配置集羣

1）配置slaves

>vim etc/hadoop/slaves
Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop

2）copy目錄

把/data/app/hadoop/複製到每個salve

rsync -av -e 'ssh -p 22' --delete /data/app/hadoop/ 1.1.1.12:/data/app/hadoop/
rsync -av -e 'ssh -p 22' --delete /data/app/hadoop/ 1.1.1.13:/data/app/hadoop/
rsync -av -e 'ssh -p 22' --delete /data/app/hadoop/ 1.1.1.14:/data/app/hadoop/

4.2 啓動及驗證

1）格式化HDFS文件系統

在”Master.Hadoop”上使用普通用戶hadoop進行操作。(備註：只需一次，下次啓動不再需要格式化。)

hadoop namenode -format
或
hdfs namenode –format

2）啓動hadoop

sbin/start-dfs.sh
sbin/start-yarn.sh

順利的話，master節點上有幾下3個進程：jps （查看 hadoop的進程）

7482 ResourceManager
7335 SecondaryNameNode
7159 NameNode

slave上有幾下2個進程：

2296 DataNode
2398 NodeManager

同時可瀏覽：

http://1.1.1.11:8088/cluster/nodes
http://1.1.1.11:50070/dfshealth.html#tab-overview

* 另外也可以通過 bin/hadoop dfsadmin -report 查看hdfs的狀態報告
注：hadoop namenode不能啓動，9000端口沒有監聽，
解決：hdfs-site.xml
刪除dfs和tmp下的文件，然後重新格式化hadoop namenode -format

參考1： http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
參考2 ：http://www.itnose.net/detail/6182168.html