Apache Hadoop 是一個支持數據密集型分佈式應用程序的開源軟件框架,能在大型集羣上運行應用程序。Hadoop 框架實現了 MapReduce 編程範式,把應用程序分成許多小部分,每個部分能在任意節點上運行。並且 Hadoop 提供了分佈式文件系統存儲所有計算節點的數據,爲集羣帶來非常高的帶寬。
1 Hadoop 是什麼?
Apache Hadoop 是一個支持數據密集型分佈式應用程序的開源軟件框架,能在大型集羣上運行應用程序。Hadoop 框架實現了 MapReduce 編程範式,把應用程序分成許多小部分,每個部分能在任意節點上運行。並且 Hadoop 提供了分佈式文件系統存儲所有計算節點的數據,爲集羣帶來非常高的帶寬。
2 搭建說明
本文幾乎所有操作都需要在三臺服務器上進行同樣的操作,所以爲了便於表示,在需要三臺服務器上進行同樣操作的時候會使用 x3 進行標註。
命令當中的 # 代表 root 用戶執行。
命令當中的 $ 代表 hadoop 用戶執行。
### 爲該命令的註釋。
注:可在一臺機子上配置好後利用 scp 命令進行復制,若在虛擬機則可直接複製虛擬機。
2.1 節點機器配置
NodeName | OS | CPU | RAM | Disk | IP |
---|---|---|---|---|---|
NameNode | CentOS 7.2 | E7-4830 v3 @ 2.10GHz x2 | 2G | 100G | 192.168.1.69 |
DataNode1 | CentOS 7.2 | E7-4830 v3 @ 2.10GHz x2 | 2G | 500G | 192.168.1.70 |
DataNode2 | CentOS 7.2 | E7-4830 v3 @ 2.10GHz x2 | 2G | 500G | 192.168.1.7 |
2.2 軟件包版本
Software | Version |
---|---|
JDK | Oracle JDK 1.8.0_131(非OpenJDK) |
Hadoop | 2.8.0 |
3 安裝JDK x3
# mkdir -p /usr/local/java
# cd /usr/local/java
# wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
# tar -xvzf jdk-8u131-linux-x64.tar.gz
### 設置新的 JDK 爲默認 JDK,如果機器已經安裝 OpenJDK,可能需要先卸載。
# echo "export JAVA_HOME=/usr/local/java/jdk1.8.0_131/" >> /etc/profile
# echo "export PATH=$PATH:$JAVA_HOME/bin" >> /etc/profile
# source /etc/profile
# $JAVA_HOME/bin/java -version ### 測試運行
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
4 關閉防火牆 x3
直接關閉整個防火牆不是一個明智的選擇,在具體環境中應該挑選出需要的端口,進行放行,本文由於篇幅原因,不再詳細討論,故採用直接關閉防火牆的方法。
# systemctl stop firewalld.service
# systemctl disable firewalld.service
5 配置 hostname 及局域網映射 x3
# hostnamectl set-hostname namenode ### 爲 namenode 節點設置 hostname
# hostnamectl set-hostname datanode1 ### 爲 datanode1 節點設置 hostname
# hostnamectl set-hostname datanode2 ### 爲 datanode2 節點設置 hostname
# echo "192.168.1.69 namenode" >> /etc/hosts
# echo "192.168.1.70 datanode1" >> /etc/hosts
# echo "192.168.1.71 datanode2" >> /etc/hosts
6 創建 hadoop 用戶以及 hadoop 用戶組 x3
# groupadd hadoop
# useradd -m -g hadoop hadoop
# passwd hadoop
7 SSH 免密登錄
Hadoop 在 namenode 節點中使用 ssh 來訪問各節點服務器,例如開啓或關閉 hadoop。顯然在大型集羣中,不可能手動逐個輸入密碼,在這種情況下,我們可以利用 ssh-agent 代理我們輸入密碼。
注:該設置只需要在 namenode 節點設置。
7.1 ssh-agent
配置 ssh-agent 開機自動運行
# echo 'eval $(ssh-agent)' >> /etc/profile
# source /etc/profile
7.2 配置免密登錄
在 namenode 節點上登錄 hadoop 用戶
$ ssh-keygen -t rsa -f ~/.ssh/id_rsa ### 輸入密鑰
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 644 ~/.ssh/authorized_keys
$ ssh-copy-id datanode1 ### 將公鑰 copy 到 datanode1
$ ssh-copy-id datanode2 ### 將公鑰 copy 到 datanode2
$ ssh-add ~/.ssh/id_rsa ### 使用 ssh-agent 實現免密登錄
$ ssh datanode1 ### 測試無需密碼即可登錄 datanode1
8 磁盤掛載(可選) x3
# mkdir /home/hadoop/hdfs
# mount /dev/sdb1 /home/hadoop/hdfs/
# chown -R hadoop:hadoop /home/hadoop/hdfs/
# echo "/dev/sdb1 /home/hadoop/hdfs ext4 defaults 0 0" >> /etc/fstab
9 安裝 Hadoop x3
# cd /usr/local
# wget https://mirrors.scau.edu.cn/hadoop/hadoop-2.8.0.tar.gz ### 使用自己的鏡像源
# wget https://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
# tar -xvzf hadoop-2.8.0.tar.gz
# chown -R hadoop:hadoop hadoop-2.8.0
10 配置 Hadoop x3
複製默認配置文件,在升級 hadoop 版本時可獨立出來。
$ mkdir ~/config/
$ cp -r /usr/local/hadoop-2.8.0/etc/hadoop/ ~/config/
指定 hadoop 運行所使用的 JDK 與配置目錄, vim ~/config/hadoop/hadoop-env.sh
$ export JAVA_HOME=/usr/local/java/jdk1.8.0_131/
$ export HADOOP_CONF_DIR=/home/hadoop/config/hadoop/
# echo "export HADOOP_CONF_DIR=/home/hadoop/config/hadoop/" >> /etc/profile ### 最好將該環境變量也加入 /etc/profile
10.1 log 存儲位置
修改 hadoop log 存儲位置。
$ echo "export HADOOP_LOG_DIR=~/log/hadoop" >> ~/config/hadoop/hadoop-env.sh
修改 YARN log 存儲位置,
$ vim config/hadoop/yarn-env.sh。 ###進行如下修改
YARN_LOG_DIR="/home/hadoop/log/yarn/"
10.2 配置 core-site.xml
$ vim ~/config/hadoop/core-site.xml ###進行如下修改
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<description>默認文件系統及端口</description>
<name>fs.defaultFS</name>
<value>hdfs://namenode/</value>
<final>true</final>
</property>
</configuration>
10.3 配置 hdfs-site.xml
$ vim ~/config/hadoop/hdfs-site.xml ###進行如下修改
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<description>namedoe 存儲永久性的元數據目錄列表</description>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hdfs/name/</value>
<final>true</final>
</property>
<property>
<description>datanode 存放數據塊的目錄列表</description>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hdfs/data/</value>
<final>true</final>
</property>
</configuration>
10.4 配置 mapred-site.xml
$ vim ~/config/hadoop/mapred-site.xml ###進行如下修改
<?xml version="1.0"?>
<configuration>
<property>
<description>MapReduce 執行框架設爲 Hadoop YARN. </description>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<description>Map 和 Reduce 執行的比例,Map 執行到百分之幾後開始 Reduce 作業</description>
<!-- 此處設爲1.0 即爲 完成 Map 作業後纔開始 Reduce 作業,內存情況不夠的可設爲 1.0 默認值爲 0.05 -->
<name>mapreduce.job.reduce.slowstart.completedmaps</name>
<value>1.0</value>
</property>
</configuration>
10.5 配置 yarn-site.xml
$ vim ~/config/hadoop/yarn-site.xml ###進行如下修改
<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<description>The address of the applications manager interface in the RM.</description>
<name>yarn.resourcemanager.address</name>
<value>namenode:8032</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<description>存儲中間數據的本地目錄</description>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/hadoop/nm-local-dir</value>
<final>true</final>
</property>
<property>
<description>每個容器可在 RM 申請的最大內存</description>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<final>true</final>
</property>
<property>
<description>每個容器可在 RM 申請的最小內存</description>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>300</value>
<final>true</final>
</property>
<property>
<description>自動檢測節點 CPU 與 Mem</description>
<name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
<value>true</value>
</property>
<property>
<description>The address of the scheduler interface.</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>namenode:8030</value>
</property>
<property>
<description>The address of the RM web application.</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>namenode:8088</value>
</property>
<property>
<description>The address of the resource tracker interface.</description>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>namenode:8031</value>
</property>
<property>
<description>The hostname of the RM.</description>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>
</configuration>
10.6 配置 slaves
$ vim ~/config/hadoop/slaves ###進行如下修改
namenode
datanode1
datanode2
11 優化 namenode 節點命令使用
$ echo "export PATH=$PATH:/usr/local/hadoop-2.8.0/bin/:/usr/local/hadoop-2.8.0/sbin/" >> ~/.bash_profile
$ source ~/.bash_profile
12 啓動集羣及測試
測試之前最好重啓一遍三臺機器,以確保配置都生效,並且沒有其他問題。
登錄 namenode 節點
$ ssh-add ~/.ssh/id_rsa ### 驗證密鑰
$ hadoop namenode -format ### 初始化集羣
$ start-dfs.sh ### 啓動 HDFS
$ start-yarn.sh ### 啓動 YARN
12.1 集羣總覽
NodeName | Web | Address |
---|---|---|
namenote | HDFS | http://192.168.1.69:50070 |
RM | http://192.168.1.69:8088 | |
NM | http://192.168.1.69:8042 | |
datanode1 | HDFS | http://192.168.1.70:50075 |
NM | http://192.168.1.70:8042 | |
datanode2 | HDFS | http://192.168.1.71:50075 |
NM | http://192.168.1.71:8042 |
12.2 測試用例
hadoop 自帶了許多測試用例,所以可以很方便的快速測試集羣是否搭建成功。
$ yarn jar /usr/local/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar randomwriter random-data
執行上述命令後,打開 RM 以及 NM 的 URL ,查看任務是否被執行,如執行,則搭建成功。
12.3 圖片展示
13 總結
本文從零開始搭建了具有三個節點服務器的 Hadoop 集羣,示範了 Hadoop 搭建集羣的基本配置。並且從中我們可以知道 Hadoop 集羣的每臺機子的配置幾乎是相同的,這是大量重複性的勞動,因此使用 docker 會大大加快集羣的部署。文中的配置文件,是我根據我自己的三臺服務器的機器硬件所決定的參數,讀者應該根據自己的實際情況選擇參數的設置,下文的參考資料給出了各種屬性的說明以及默認值。