hadoop2.6.0環境搭建

準備: 三臺服務器,可用虛擬軟件見3個虛擬機。

內網路由 平常的tp-link就可以

--1、 創建hadoop 用戶

useradd hadoop

passwd hadoop

--2、配置hosts (3個機器都操作)只要是互通的內網及可,ip更具自己情況設定

vi  /etc/hosts
192.168.2.11   hw001
192.168.2.12   hw002
192.168.2.13   hw003

3臺機器的防火牆關掉

service iptables stop

--3、下載hadoop安裝包 (3個機器都操作)
cd /home/hadoop
tar xzvf hadoop-2.6.0-cdh5.4.7.tar.gz -C /home/hadoop/

--4、下載安裝jdk (3個機器都操作)
cd /home/hadoop/下載
rpm -ivh jdk-7u79-linux-x64.rpm 


--5、配置hadoop/jdk環境 (3個機器都操作)
vi  /etc/profile 下增加如下:
# java config.
export JAVA_HOME=/usr/java/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib

# hadoop config.

export HADOOP_HOME=/home/hadoop/hadoop-2.6.0-cdh5.4.7

export PATH=$PATH:$HADOOP_HOME/bin

-- 6、環境變量生效 (3個機器都操作)
source /etc/profile

-- 7、互信 (3個機器都操作)

su - hadoop

ssh-keygen

ssh-copy-id -i ~/.ssh/id_rsa.pub  hw001

ssh-copy-id -i ~/.ssh/id_rsa.pub  hw002

ssh-copy-id -i ~/.ssh/id_rsa.pub  hw003

--8、創建 name data 文件夾
mkdir /home/hadoop/dfs/name
mkdir /home/hadoop/dfs/data
mkdir /home/hadoop/dfs/tmp

--9、修改配置文件  (hw001上操作)

修改 hadoop-2.6.0-cdh5.4.7/etc/hadoop/hadoop-env.sh 中的 JAVA_HOME:
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79


cat vim $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>   <property>
      <name>fs.default.name</name>
         <value>hdfs://hw001:8020</value>
         <final>true</final>
   </property>
   <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/home/hadoop/dfs/tmp</value>
  <description>Abase for other temporary   directories.</description>
   </property></configuration>


cat vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data0/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data0/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property></configuration>




cat vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>     <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hw001:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hw001:19888</value>
    </property></configuration>


vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hw001</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hw001:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hw001:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hw001:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hw001:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hw001:8088</value>
    </property>


vi  $HADOOP_HOME/etc/hadoop/slaves
hw002
hw003


--10、cp *.xml (hw001上操作)
 scp -r /home/hadoop/hadoop-2.6.0-cdh5.4.7/etc/hadoop/* hadoop@hw002:/home/hadoop/hadoop-2.6.0-cdh5.4.7/etc/hadoop/

 scp -r /home/hadoop/hadoop-2.6.0-cdh5.4.7/etc/hadoop/* hadoop@hw003:/home/hadoop/hadoop-2.6.0-cdh5.4.7/etc/hadoop/


--11、啓動 hdfs
-- 格式化 namenode:
$HADOOP_HOMEbin/hadoop namenode -format
-- 啓動進程:
$HADOOP_HOMEsbin/hadoop-daemon.sh start namenode
$HADOOP_HOMEsbin/hadoop-daemon.sh start datanode
-- or 可以用一個命令啓動
$HADOOP_HOMEsbin/start-dfs.sh


--12、打開 web 頁面
-- 打開 hdfs 展示頁面:http://192.168.1.11:50070/


--13、啓動一個應用測試
首先是一個計算 PI 的例子:

hadoop jar $HADOOP_HOMEshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.7.jar pi 10 5
output:
...
Job Finished in 23.673 seconds
Estimated value of Pi is 3.12000000000000000000


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章