hadoop集羣部署，cmaster , cslave1,cslave2

一，準備環境

1 使用VMware創建三臺虛擬主機，最小化安裝Centos7

2 配置好固定IP分別爲192.168.2.75 ，192.168.2.76  192.168.2.77，並保證可以通外網

  # vi /etc/sysconfig/network-scirpts/ifcfg-eth0

   ONBOOT=yes

   BOOTPROTO=static

   IPADDR=192.168.2.75

   NETMASK=255.255.254.0

   GATEWAY=192.168.2.1

   DNS1=192.168.2.1

   生效：

#systemctl restart network
#ping  www.baidu.com

3 設置主機名 hostnamectl set-hostname cmaster cslave1 cslave2

4 做/etc/hosts中的解析：

 192.168.2.75 cmaster

 192.168.2.76 cslave1

 192.168.2.77 cslave2

  檢查是否解析成功需要三臺機器互相ping 通 

  #ping cmaster
  #ping  cslave1 
  #ping  cslave2

3 永久關閉selinux

#setenfore 0
#getenfore 
 disabled

4 關閉防火牆並設置爲開機不啓動

#systemctl stop firewalld
#systemctl disable firewalld

 完成以上配置需要reboot

5 安裝jdk1.8.0_151

# mkdir -p /home/jdk
# wget http://jdk1.8.0_151 
# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/local/
# tail -3 /etc/profile
   JAVA_HOME=/usr/local/jdk1.8.0_151
  PATH=$PATH:$JAVA_HOME/bin
  export JAVA_HOME PATH

  生效：

# source /etc/profile

  檢查：

# javac
# java -version

6 在window中完成 cmaster cslave1 cslave2的解析

 用管理員權限，打開記事本C:\Windows\System32\drivers\etc\hosts

 添加如下內容：

 192.168.2.75 cmaster

192.168.2.76 cslave1

192.168.2.77 cslave2

 

二 正式安裝

 cmaster cslaver1 cslaver2 都做如下操作：

 登錄hadoop官網：http://hadoop.apache.org/releases.html 下載安裝包hadoop-3.0.0.tar.gz

#mkdir -p /home/joe
#cd /home/joe
#wget hadoop-3.0.0.tar.gz 
#tar -zxvf /home/joe/hadoop-3.0.0.0.tar.gz

1 解壓完成後要修改hadoop的配置文件：

#vi /home/joe/hadoop-3.0.0/etc/hadoop/hadoop-env.sh

 在文件中找到export JAVA_HOME 修改爲：

 export JAVA_HOME=/usr/local/jdk1.8.0_151

2 修改core-site.xml文件:

#vi /home/joe/hadoop-3.0.0/etc/hadoop/core-site.xml

  在<configuration>標籤中插入如下內容：

 <configuration>

<property><name>hadoop.tmp.dir</name><value>/home/joe/cloudData</value></property>

<property><name>fs.defaultFS</name><value>hdfs://cmaster:8020</value></property>

</configuration>

3 修改yarn-site.xml文件

#vi /home/joe/hadoop-3.0.0/etc/hadoop/yarn-site.xml

在<configuration>標籤中插入如下內容：

 <configuration>

<!-- Site specific YARN configuration properties -->

<property><name>yarn.resourcemanager.hostname</name><value>cmaster</value></property>

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

</configuration>

4 修改mapred-site.xml.template

 將/home/joe/hadoop-3.0.0/etc/hadoop/目錄下的mapred-site.xml.template重命名爲mapred-site.xml

 並用命令

 #vi /home/joe/hadoop/etc/hadoop/mapred-site.xml

 在<configuration>標籤中插入如下內容：

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

三啓動hadoop

1 啓動cmaster 

#/home/joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode
#/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager

 檢查是否啓動成功

# jps

 1574 ResourceManager

 6154 Jps

 1451 NameNode    

# ps aux |grep hadoop
# ss -tnulp   注意觀察端口號8088 9870

web端輸入：http://cmaster:8088/cluster

                    http://cmaster:9870/

能夠訪問即爲安裝成功

2 啓動cslave1 cslave2

#/home//joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode
#/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager

 檢查是否訪問成功：

#jps

7858 DataNode

7989 NodeManager

8286 Jps

#ps aux |grep hadoop
#ss -tnulp

 注意觀察端口號：8042 9864

在web端輸入：http://cslave1:8042 

                        http://cslave2:9864

在web端輸入：http://cslave1:8042

                       http://cslave2:9864

這樣，cslave1 cslave2也安裝成功

注意在cmaster的web界面中的Active Nodes中

可以看到節點數爲2

到此hadoop集羣部署成功完成