ubuntu16.04搭建hadoop2.7.1僞分佈式環境

環境配置

ubuntu16.04， jdk1.8.0_242，hadoop2.7.1

 

步驟

1. 創建hadoop用戶，並賦予管理員權限

登錄linux，在終端輸入：

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

2. 切換至hadoop用戶（接下來的操作均在hadoop用戶進行），並更新apt

sudo su hadoop
sudo apt-get update

3. 安裝ssh，設置免密登錄

sudo apt-get install openssh-server

創建一個新的密鑰：

ssh-keygen -t rsa -P ""

出現選項時輸入括號內路徑或直接回車：

將生成的密鑰加入到授權中並使用ssh連接localhost：

cat /home/hadoop/.ssd/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
ssh localhost

4. 安裝jdk[3]

sudo apt-get update
sudo apt-get install openjdk-8-jdk
java -version

這裏簡易安裝，環境變量配置參考[4]。

5. 安裝hadoop

選擇對應版本下載：

https://archive.apache.org/dist/hadoop/common/

這裏我選擇的是 hadoop-2.7.1.tar.gz ：

在想要存放該解壓文件的地方新建文件夾，如 /opt/hadoop ：

sudo mkdir hadoop

在該壓縮文件所在目錄打開終端，輸入：

sudo tar -zxf hadoop-2.7.1.tar.gz -C /opt/hadoop    # 解壓至路徑/opt/hadoop下
cd /opt/hadoop
sudo mv ./hadoop-2.7.1/ ./hadoop                    # 修改文件夾名稱
sudo chown -R hadoop ./hadoop                       # 修改權限

6. hadoop僞分佈式配置

（1）添加環境變量：

vim ~/.bashrc

若出現下圖所示情況，需要先安裝vim：

sudo apt install vim

再打開的 bashrc 文件中末尾處添加：

export HADOOP_HOME=/opt/hadoop/hadoop
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$HADOOP_HOME/bin

其中，vim使用方法參考[5]；

JAVA_HOME路徑爲jdk的安裝路徑，如不知道路徑，可參考[6]獲取。

執行下述命令，使變動生效，無需重啓：

source ~/.bashrc

（2）配置關聯HDFS：

vim /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

在對應位置添加 JAVA_HOME： （這步應該不需要）

修改配置文件 core-site.xml：

cd /opt/hadoop/hadoop/etc/hadoop
vim core-site.xml

<configuration>
    <property>
    <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改 hdfs-site.xml：

vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

 

（3）Map Reduce 配置

修改 mapred-site.xml：

vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>localhost:9001</value>
    </property>
</configuration>

 （4）格式化hdfs

cd /opt/hadoop/hadoop
./bin/hdfs namenode -format

 出現下圖即爲成功：

開啓hdfs和yarn，中間出現選項時選yes：

./sbin/start-dfs.sh
./sbin/start-yarn.sh

jps # 查看是否啓動成功

 

關閉進程：

./sbin/stop-dfs.sh
./sbin/stop-yarn.sh

 

至此配置成功，後續繼續補充。 

 

參考文檔

[1] Ubuntu16.04下安裝Hadoop2.7.4僞分佈式環境

[2] Ubuntu16.04+hadoop2.7.3環境搭建

[3] Ubuntu16.04安裝JDK

[4] apt-get install jdk下的JAVA_HOME的配置

[5] Linux vi/vim | 菜鳥教程

[6] 環境部署（四）：Linux下查看JDK安裝路徑