1.克隆三臺虛擬機
例：
hadoop101 NN DN NM
hadoop102 RM DN NM
hadoop103 2NN DN NM
分析：
hadoop101裏配置namenode
hadoop102裏配置resourcemanager
hadoop103裏配置SecondaryNameNode
DN(datanode) NM(namemanager) 混搭，其餘的都分佈在不同的服務器上,有多少個DN就有多少個NM，所以每個服務器上都有一個DN和一個NM
1.關閉防火牆
chkconfig iptables off
2.修改靜態ip
/etc/sysconfig/network-scripts/ifcfg-eth0
修改內容如下
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
#IP地址
IPADDR=192.168.1.102
#網關
GATEWAY=192.168.1.2
#域名解析器
DNS1=192.168.1.2
NAME=eth0
3.修改主機名稱
/etc/sysconfig/network
4.創建集羣 vim /etc/hosts
內容如下例：
| ip地址 | 主機名 |
|---|---|
| 192.168.1.100 | hadoop100 |
| 192.168.1.101 | hadoop101 |
| 192.168.1.102 | hadoop102 |
| 192.168.1.103 | hadoop103 |
| 192.168.1.104 | hadoop104 |
| 192.168.1.105 | hadoop105 |
5.修改網關
vim /etc/udev/ rules. d/70- persistent-net. rules
# This file was automatically generated by the /lib/udev/write_net_rules
# program, run by the persistent-net-generator.rules rules file.
#
# You can modify it, as long as you keep each rule on a single
# line, and change only the value of the NAME= key.
# PCI device 0x8086:0x100f (e1000)
#SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*",
#這一行刪除或註釋
ATTR{address}=="00:0c:29:ad:ce:a7", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
# PCI device 0x8086:0x100f (e1000)
#這一行把**"eth1"**修改爲**"eth0"**
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:c7:05:81", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"
6.重啓network
service network restart
如果報錯，reboot，重啓虛擬機
2.上傳hadoop,jdk. jar包並解壓
1.創建一個SFTP類型的遠程連接
/opt/ 文件夾下 software/ 文件夾 存放 jar 包
/opt/ 文件夾下 module/ 文件夾 存放解壓的 jar 包
2.進入software文件夾下 cd /opt/software/
3.把hadoop jar包，jdk jar包拖進來
4.在創建的不是SFTP類型的遠程連接上把jar包解壓到module包下
tar -zxvf hadoop… -C /opt/module/
tar -zxvf jdk… -C /opt/module/
3.配置
1.配置環境變量 /etc/profile（根目錄下的）
配置內容如下
#JAVA_HOME：
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
--------------------------------------------------------- 以下是
[jinghang@hadoop101 hadoop-2.7.2] etc/hadoop/ 目錄下的配置
2.配置：hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
3.配置 yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
4.配置mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
5.配置core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定Hadoop運行時產生文件的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
6.配置 yarn-site.xml
<!-- Reducer獲取數據的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop102</value>
</property>
7.配置hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop輔助名稱節點主機配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop103:50090</value>
</property>
7.配置mapred-site.xml
<!-- 指定MR運行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
8.配置history – mapred-site.xml
<!-- 歷史服務器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 歷史服務器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>
9.配置日誌 – yarn-site.xml
<!-- 日誌聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日誌保留時間設置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
3.無密登錄
1.生成公鑰，私鑰
[jinghang@hadoop101 .ssh]$ ssh-keygen -t rsa
然後敲（三個回車），就會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）
2.將公鑰拷貝到要免密登錄的目標機器上
[jinghang@hadoop101 .ssh]$ ssh-copy-id hadoop102
[jinghang@hadoop101 .ssh]$ ssh-copy-id hadoop103
[jinghang@hadoop101 .ssh]$ ssh-copy-id hadoop104
注意：
還需要在hadoop101上採用root賬號，配置一下無密登錄到hadoop102、hadoop102、hadoop103；
還需要在hadoop102上採用jinghang賬號配置一下無密登錄到hadoop102、hadoop102、hadoop1服務器上
3. .ssh文件夾下（~/.ssh）的文件功能解釋
| known_hosts | 記錄ssh訪問過計算機的公鑰(public key) |
| id_rsa | 生成的私鑰 |
| id_rsa.pub | 生成的公鑰 |
| authorized_keys | 存放授權過得無密登錄服務器公鑰 |
6.測試無密登錄
[jinghang@hadoop101 .ssh]$ ssh hadoop102
5.設置羣起節點
vim /opt/module/hadoop-2.7.2/etc/hadoop/slaves
內容（主機名）
hadoop101
hadoop102
hadoop103
5.scp — rsync
1. scp（secure copy）安全拷貝
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 遞歸 要拷貝的文件路徑/名稱 目的用戶@主機:目的路徑/名稱
案例實操
（a）將hadoop101中/etc/profile文件拷貝到hadoop102的/etc/profile上。
[jinghang@hadoop101 ~]$ sudo scp /etc/profile root@hadoop102:/etc/profile
（b）在hadoop101上操作將hadoop101中/opt/module目錄下的軟件拷貝到hadoop102上。
[jinghang@hadoop101 opt]$ scp -r /opt/module jinghang@hadoop102:/opt/module
（c）在hadoop101上，將hadoop101服務器上的/home/jnghang/.ssh目錄下的軟件拷貝到hadoop103上。
[jinghang@hadoop101 opt]$sudo scp -r /home/jinghang/.ssh/ jinghang@hadoop103:/home/jinghang/.ssh
2. rsync 遠程同步工具
rsync -av $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 選項參數 要拷貝的文件路徑/名稱 目的用戶@主機:目的路徑/名稱
選項參數說明
| 選項 | 功能 |
|---|---|
| -a | 歸檔拷貝 |
| -v | 顯示覆制過程 |
案例實操
（a）把hadoop101機器上的/opt/software目錄同步到hadoop102服務器的root用戶下的/opt/目錄
[jinghang@hadoop101 opt]$ rsync -av /opt/software/ hadoop102:/opt/software
== rsync和scp區別：用rsync做文件的複製要比scp的速度快，rsync只對差異文件做更新。scp是把所有文件都複製過去。==
6.格式化
[jinghang@hadoop102 hadoop-2.7.2]$ hdfs namenode -format
7.開啓節點
1.HDFS
羣起：start-dfs.sh
羣關：stop-dfs.sh
2.YARN
羣起：start-yarn.sh
羣關：stop-yarn.sh
3.歷史服務器
開啓 ：mr-jobhistory-daemon.sh start historyserver
關閉 ：mr-jobhistory-daemon.sh stop historyserver
8.啓動web
HDFS：192.168.1.101:50070
YARN : 192.168.1.102:8088
9.測試
1.將測試文件內容上傳到文件系統上
[jinghang@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input
/user/jinghang/input/
2.運行MapReduce程序
[jinghang@hadoop101 hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/jinghang/input/ /user/jinghang/output