Centos7 單機版搭建Hadoop3.1.2

1.我在vmware裏面安裝的centos7

2.搭建Hadoop單機

• 創建一個hadoop用戶

創建好了hadoop用戶，如果你只是測試其實用root也可以，主要是害怕root刪除其他的一些東西

• 創建hadoop文件目錄

mkdir /usr/local/hadoop/tmp

mkdir /usr/local/hadoop/hdfs/name

mkdir /usr/local/hadoop/hdfs/data

mkdir /usr/local/hadoop/log

 

 

• 下載jdk，和hadoop3.1.2 安裝包
• 下載好我把jdk放在 

/usr/local/java

下面

解壓

tar -zxvf jdk-8u201-linux-x64.tar.gz

配置jdk

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

刷新：

source /etc/profile

• 解壓hadoop壓縮包，同上

先不配置環境變量了，砸門先走着

• 改變hadoop的配置，全部在 /usr/local/hadoop/hadoop-3.1.2/etc/hadoop 下

（1）hadoop-env.sh

（2）core-site.xml，這個文件是配置hdfs訪問路勁，和namenode臨時文件夾路勁

<configuration>
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
</property>

<property>
      <name>hadoop.tmp.dir</name>
      <value>file:/usr/local/hadoop/tmp</value>
</property>

</configuration>

（3）hdfs-site.xml。這文件是配置元數據和datanode數據的存放路徑。

 

<configuration>
<property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/usr/local/hadoop/hdfs/name</value>
</property>

<property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/usr/local/hadoop/hdfs/data</value>
</property>

<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>

</configuration>

配置完了，下來看安裝

• 初始化

切換到hadoop下，進入/usr/local/hadoop/hadoop3.1.2/bin下，運行

hdfs namenode -format

 這樣說明完成了

• 啓動hadoop

接下來就是啓動hadoop。

分別啓動namenode，secondarynamenode，datanode。

輸入命令 

/usr/local/hadoop/hadoop3.1.2/sbin/hadoop-daemon.sh start namenode

/usr/local/hadoop/hadoop3.1.2/sbin/hadoop-daemon.sh start secondarynamenode

/usr/local/hadoop/hadoop3.1.2/sbin/hadoop-daemon.sh start datanode

然後輸入jps

可以看到namenode，secondarynamenode，datanode這三個服務已經啓動。

• 驗證

輸入命令 /opt/hadoop3.1.2/bin/hadoop fs -ls /

沒有報錯，則hadoop單機版安裝成功。

或者

輸入：ip:9870/dfshealth.html#tab-overview出現下面的就好了