spark環境搭建上---Hadoop集羣搭建

本文介紹的是在虛擬機中搭建的一個spark集羣，該集羣有三臺虛擬機組成，一個主節點，兩個從節點。主要涉及到的主要環節分爲：VMware® Workstation 14 Pro安裝、centos7安裝、主機之間免密登錄、java安裝、hadoop安裝、scala安裝、spark安裝。這裏面主要介紹主機之間免密登錄、java安裝、hadoop安裝、scala安裝、spark安裝。

一.VMware® Workstation 14 Pro安裝

1.下載鏈接https://my.vmware.com/cn/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation_pro/14_0#product_downloads

密鑰：FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA 

2.安裝參考

https://jingyan.baidu.com/article/9f7e7ec09da5906f281554d6.html

二.centos安裝

1.下載鏈接

http://isoredirect.centos.org/centos/7/isos/x86_64/

2.安裝參考

https://jingyan.baidu.com/article/b7001fe1d1d8380e7382dd72.html

三.配置centos主機的網絡

1.網絡適配器選擇NAT

2.設置虛擬主機的網段和dns服務

本文設置的單臺主機的

網段爲：192.168.149.0，子網掩碼：255.255.255.0

DNS服務如下所示：

202.106.196.115

202.106.195.68

202.106.0.20

 

3.設置虛擬主機的IP

本文設置的主節點的IP爲192.168.149.132，從節點1爲192.168.149.133，從節點2爲192.168.149.134，本文以主節點的設置爲例：

 

4.設置虛擬主機的主機名

本文設置的主節點的IP（192.168.149.132）的主機名爲maste，從節點1（192.168.149.133）的主機名爲slave01，從節點2（192.168.149.134）的主機名爲slave02，本文以主節點的設置爲例：

step01：打開終端窗口輸入命令

step02：在主節點上將用戶切換至root，打開終端窗口輸入命令：su root

step03：輸入命令gedit /etc/sysconfig/network，打開network

在裏面輸入：

NETWORKING=yes

HOSTNAME=master

然後保存，退出。

step04：輸入hostname master，使配置生效

5.slave01與slave02的配置請參照“三.配置centos主機的網絡”中的1，2，3，4步

6.配置maste，slave01，slave02的host文件

step01：在終端窗口中輸入命令，gedit /etc/hosts

在裏面輸入：

192.168.149.132 master

192.168.149.133 slave01

192.168.149.134 slave02

然後保存，退出。

 

四.配置maste到slave01，slave02的免密登錄

1.關閉maste，slave01，slave02的防火牆

step01：在終端窗口中輸入命令，systemctl stop firewalld

step02：在終端窗口中輸入命令，systemctl status firewalld，驗證防火牆是否關閉成功

2.生成密鑰

在終端窗口中輸入命令，在ssh-keygen -t rsa，後面終端中顯示要輸入的話，直接回車就ok了。

生成的密鑰在~/.ssh目錄下，生成的文件如下所示：

 

 

 

3.將master主機生成的公鑰複製到slave01，slave02

step01：將其中的id_rsa.pub複製成authorized_keys並保存至 ~/.ssh/目錄下

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

step02：修改authorized_keys的權限

chmod 600 ~/.ssh/authorized_keys

step03：將master節點上的authorized_keys複製到slave01，salve02主機的 ~/.ssh/目錄下（注意如果slave01，salve02主機沒有~/.ssh/目錄，就到slave01，salve02主機下創建~/.ssh/目錄）

scp ~/.ssh/authorized_keys deamon@slave01:~/.ssh/

scp ~/.ssh/authorized_keys deamon@slave02:~/.ssh/

4.配置/etc/ssh/sshd_config

step01：以master節點爲例，在切換至root用戶

step02：在終端窗口中輸入命令，gedit /etc/ssh/sshd_config，在裏面輸入：

RSAAuthentication yes # 啓用 RSA 認證

PubkeyAuthentication yes # 啓用公鑰私鑰配對認證方式

AuthorizedKeysFile /root/.ssh/authorized_keys # 公鑰文件路徑

然後保存，退出。

step03：slave01，salve02主機的/etc/ssh/sshd_config文件配置參照，step01，step02。

5.驗證master主機免密登錄到主機slave01，slave02的效果

在終端窗口中輸入命令，ssh slave01，ssh slave02

 

五.java安裝

1.下載

我的安裝的java爲jdk_8u211-b12

https://download.oracle.com/otn/java/jdk/8u211-b12/478a62b7d4e34b78b671c754eaaf38ab/jdk-8u211-linux-x64.tar.gz?AuthParam=1563285214_057583b02ecdb1fa7079efda792c9961

2.安裝參考

java安裝在/opt目錄下

https://jingyan.baidu.com/article/9f7e7ec0f8c26b6f28155433.html

六.hadoop安裝

1.下載

本文安裝的hadoop爲hadoop-2.8.5，安裝目錄在/opt目錄下

下載鏈接爲：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

2.配置hadoop-env.sh

 

在終端窗口中輸入命令，gedit /opt/hadoop-2.8.5/etc/hadoop/hadoop-env.sh，在裏面輸入：

export JAVA_HOME=/usr/java_8/jdk1.8.0_211

 

3.配置hadoop-env.sh

在終端窗口中輸入命令，gedit /opt/hadoop-2.8.5/etc/hadoop/hadoop-env.sh，在裏面輸入：

export JAVA_HOME=/usr/java_8/jdk1.8.0_211

4.創建hadoopdata

cd /opt/

mkdir hadoopdata

5.core-site.xml

 

在終端窗口中輸入命令，gedit /opt/hadoop-2.8.5/etc/hadoop/core-site.xml，在裏面輸入：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoopdata</value>
        </property>
</configuration>

6.hdfs-site.xml

 

在終端窗口中輸入命令，gedit /opt/hadoop-2.8.5/etc/hadoop/hdfs-site.xml，在裏面輸入：

 

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>  
        </property>
</configuration>

7.yarn-site.xml

在終端窗口中輸入命令，gedit /opt/hadoop-2.8.5/etc/hadoop/yarn-site.xml，在裏面輸入：

 

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:18040</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:18030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:18025</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:18141</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:18088</value>
        </property>
</configuration>

8.mapred-site.xml

在終端窗口中輸入命令，gedit /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml，在裏面輸入：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

9.配置slaves文件

在終端窗口中輸入命令，gedit /opt/hadoop-2.8.5/etc/hadoop/slaves，在裏面輸入：

slave01

slave02

10.配置slave01，slave02主機上的hadoop環境

將master上配置好的hadoop拷貝到slave01，slave02

scp -r /opt/hadoop-2.8.5 deamon@slave01:/opt

scp -r /opt/hadoop-2.8.5 deamon@slave02:/opt

11.配置系統環境

step01：在終端窗口中輸入命令，gedit /etc/profile，在裏面輸入：

export HADOOP_HOME=/opt/hadoop-2.8.5

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

step02：在終端窗口中輸入命令，source /etc/profile，使配置生效

12.啓動hadoop集羣

step01：在master虛機上輸入hdfs namenode -format，格式化文件系統

 

step02：在終端窗口中輸入命令，sh /opt/hadoop-2.8.5/sbin/start-all.sh，啓動hadoop。

注意：在啓動之前確保登錄用戶（本文的登錄用戶爲deamon），對hadoop安裝目錄以及tmp目錄擁有權限沒有的話可以輸入命令：chown -R deamon:deamon /opt/以及chown -R deamon:deamon /tmp/

13.驗證hadoop是否啓動成功

step01：在master，slave01，slave02上輸入jps，驗證相關進程是否啓動

 

step02：http://master:50070，驗證NameNode和DataNode

step03：http://master:18088，驗證yarn

 

七.總結

hadoop安裝環境就此安裝完畢