Hadoop的完全分佈式安裝

Hadoop的安裝

一、準備工作

1.創建三臺虛擬機；
2.ip addr查看三臺虛擬機的ip;
3.用hostname修改主機名；
4.三臺主機都修改/etc/hosts文件： 文件內容爲：

172.18.74.59 cow1
172.18.74.61 cow2
172.18.74.65 cow3

5.查看三臺主機是否可以ping通：

命令：ping -c 3 cow2

二、配置ssh免密登錄(三臺主機一樣的配置)

1.先生成空字符串的祕鑰； 命令：ssh-keygen -t rsa
2.查看祕鑰文件； 命令：ls /root/.ssh/
3.創建一個文件： 命令：touch /root/.ssh/authorized_keys
4.查看是否生成: 命令：ls /root/.ssh/
5. 其次將hserver1上的/root/.ssh/id_rsa.pub文件內容，hserver2上的/root/.ssh/id_rsa.pub文件內容，
hserver3上的/root/.ssh/id_rsa.pub文件內容複製到這個authorized_keys文件中，複製的方法很多了，
可以用cat命令和vim命令結合來弄，也可以直接把這3臺機器上的/root/.ssh/id_rsa.pub文件下載到本地，
在本地將authorized_keys文件編輯好在上載到這3臺機器上；
6.測試： ssh cow2 退出exit ssh cow3 退出exit

三、安裝jdk(三臺主機一樣的操作)

1.在opt/目錄下創建java文件夾
2.解壓jdk:
命令：tar -zxvf jdk壓縮包
3.修改環境變量：
命令：vi /etc/profile
內容：

> #java 		
> export JAVA_HOME=/opt/java/jdk1.8.0_181 		
> export PATH=$JAVA_HOME/bin:$PATH
> export LASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

4.測試:
命令：java -version
分發命令:scp -r 文件名 root@cow2:/opt/java

四、安裝hadoop

1.在opt/目錄下創建hadoop文件夾
2.解壓hadoop: 命令：tar -zxvf hadoop安裝包
3.修改一系列的配置文件：

(1):修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml文件：

 <property>
	<name>hadoop.tmp.dir</name>
	<value>/root/hadoop/tmp</value>
</property>
<property>
	<name>fs.default.name</name>
    <value>hdfs://hserver1:9000</value>
</property>

(2):修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件：

export   JAVA_HOME=/opt/java/jdk1.8.0_121

(3):修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml文件

<property>
	<name>dfs.name.dir</name>
	<value>/root/hadoop/dfs/name</value>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>/root/hadoop/dfs/data</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>

(4):新建並且修改mapred-site.xml文件:
命令：
cp /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml
修改這個新建的mapred-site.xml文件，

<property>
  <name>mapred.job.tracker</name>
  <value>hserver1:49001</value>
</property>
<property>
  <name>mapred.local.dir</name>
  <value>/root/hadoop/var</value>
</property>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

(5): 修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves文件，將裏面的localhost刪除，內容改爲:
cow2
cow3
(6):修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml文件

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hserver1</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>				        
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>2048</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>2048</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

(7)添加環境變量

export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$PATH

五、啓動hadoop

以下5個命令只在主節點上執行：

1、切換到該目錄下：cd /opt/hadoop/hadoop-2.8.0/bin
2.執行初始化腳本：./hadoop namenode -format
3.格式化成功後，可以在看到在/root/hadoop/dfs/name/目錄多了一個current目錄，而且該目錄內有一系列文件
4.cd /opt/hadoop/hadoop-2.8.0/sbin
5…/start-all.sh 6、jps查看 7、關閉防火牆 systemctl stop firewalld.service