【絕對有效,從頭開始自己一步一步測試的】CentOs 8.0 下安裝Hadoop環境搭建

 CentOs 8.0 下安裝Hadoop

      在Linux系統下安裝Hadoop環境具體流程:

1. 首先安裝java  jdk1.8

 有兩種方法:

  1.    安裝Oracle的jdk(相對複雜);
  2.    安裝OpenJDK(相對簡單,我安裝的是這種);

  這兩種jdk的區別,給個鏈接大家去看    https://www.php.cn/java-article-415831.html

  安裝OpenJDK一個命令就搞定

[root@localhost /]#  yum install -y java-1.8.0-openjdk-devel.x86_64

如果想安裝別的版本的話,可以通過如下命令搜索一下,看看有哪些版本(注意是JDK還是JRE)

[root@localhost /]# yum search jdk
上次元數據過期檢查:0:31:04 前,執行於 2019年10月31日 星期四 10時51分10秒。
============================ 小結 和 名稱 匹配:jdk ============================
java-11-openjdk-demo.x86_64 : OpenJDK Demos 11
java-1.8.0-openjdk-demo.x86_64 : OpenJDK Demos 8
java-11-openjdk-jmods.x86_64 : JMods for OpenJDK 11
java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11
java-1.8.0-openjdk-src.x86_64 : OpenJDK Source Bundle 8
java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11
copy-jdk-configs.noarch : JDKs configuration files copier
java-1.8.0-openjdk.x86_64 : OpenJDK Runtime Environment 8
java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation
java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation
java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11
java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment 8
java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11
java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector
java-1.8.0-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 8
java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in
                                   : a single archive
java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed
                                      : in a single archive
================================ 小結 匹配:jdk ================================
icedtea-web.noarch : Additional Java components for OpenJDK - Java browser
                   : plug-in and Web Start implementation
 

2. 安裝Hadoop

    (1)  下載Hadoop

         直接去官網http://hadoop.apache.org/releases.html下載Hadoop最新版本,新版本可能不太好穩定,我下載的版本如下

 點擊binary,進入如下網頁,複製(不是下載哦)一個下載源,這裏我複製的清華大學的(下面紅色框框中的

    回到Linux系統命令行中,自行創建一個目錄,存放Hadoop壓縮包

    這是我的目錄結構,hadoop是一個空文件夾(記住我是在root管理員下進來的

    

    直接開始在系統中下載Hadoop,命令如下(直接複製粘貼即可):

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz 

系統就開始下載這個壓縮包,因爲使用的是清華數據源,所以下載起來很快。

(2)解壓文件

下載之後,輸入ls命令查看當前目錄文件,可以發現多了一個hadoop-2.8.5.tar.gz文件,這是hadoop壓縮包

解壓該文件 輸入命令:

tar  -xvf  hadoop-2.8.5.tar.gz

解壓過程系統屏幕刷刷刷的,等就好了。

(3)備份文件

解壓後就只有一個hadoop文件夾,這裏面有很多hadoop的配置文件,保險起見,我們執行復制文件命令

cp  -r hadoop-2.8.5  /usr/software/hadoop/hadoop-2.8.5-backup
複製一個備份文件(hadoop-2.8.5-backup是備份的文件)出來,這樣就不怕改錯了。

(4)配置環境變量

(Hadoop和JAVA一起配)

  通過vi命令編輯環境變量文件

  vi  ~/.bashrc

j進來的界面如下,紅色框起來的是我本次配的環境變量

一行一行講解吧:

    1)配置JAVA的環境變量

JAVA_HOME=/usr/lib/jvm/java                 

如果按照我的方法安裝的OpenJdk的話,jdk則默認安裝在這個路徑下了,直接按照我的複製粘貼就好了。

不然就自己設置等號右邊的jdk的路徑即可,沒什麼太複雜的地方。

 PATH=$JAVA_HOME/bin:$PATH:

 第二行就是將這個環境變量鍵值對放到系統中去,如果不懂環境變量是什麼意思。(懂得話直接忽略)

最好去理解一下,簡單來說就是給指定  文件在系統中設置一個快捷訪問方式,通過左邊的變量JAVA_HOME映射右邊的指定文件的路徑,以後直接使用JAVA_HOME就是直接找到對應文件的路徑了。

到這裏JAVA的已經配置完了。

  2)Hadoop的環境變量配置

 也就是第三行了,同樣左邊是變量名,右邊是Hadoop的安裝路徑(每個人的安裝路徑不同,記得修改

HADOOP_INSTALL=/usr/software/hadoop/hadoop-2.8.5

 第四行第五行也是將Hadoop的兩個bin文件添加到系統環境中,這裏不用修改 

PATH=$HADOOP_INSTALL/bin:$PATH:.
PATH=$HADOOP_INSTALL/sbin:$PATH:.

 最後一行可有可無,因爲我也沒添加到系統中,就是簡單的註冊了我的備份的hadoop的文件的環境變量鍵值對。

 也加上吧,以後說不定要用!(備份文件的路徑也需要設置爲自己的文件所在路徑哈

HADOOP_CONF_DIR=/usr/software/hadoop/hadoop-2.8.5-backup

                                                        (這個圖和上面的一樣)

最後添加代碼:

export JAVA_HOME
export HADOOP_INSTALL
export HADOOP_CONF_DIR
export PATH

 編輯完畢,按下esc,輸入:wq命令保存並退出即可。

(5)使配置文件立即生效

  直接執行如下命令:

source ~/.bashrc

(6) 測試是否安裝成功

       1.測試java安裝情況

[root@localhost hadoop-2.8.5]# javac

執行結果如下:

[root@localhost hadoop-2.8.5]# javac
用法: javac <options> <source files>
其中, 可能的選項包括:
  -g                         生成所有調試信息
  -g:none                    不生成任何調試信息
  -g:{lines,vars,source}     只生成某些調試信息
  -nowarn                    不生成任何警告
  -verbose                   輸出有關編譯器正在執行的操作的消息
  -deprecation               輸出使用已過時的 API 的源位置
  -classpath <路徑>            指定查找用戶類文件和註釋處理程序的位置
  -cp <路徑>                   指定查找用戶類文件和註釋處理程序的位置
  -sourcepath <路徑>           指定查找輸入源文件的位置
  -bootclasspath <路徑>        覆蓋引導類文件的位置
  -extdirs <目錄>              覆蓋所安裝擴展的位置
  -endorseddirs <目錄>         覆蓋簽名的標準路徑的位置
  -proc:{none,only}          控制是否執行註釋處理和/或編譯。
  -processor <class1>[,<class2>,<class3>...] 要運行的註釋處理程序的名稱; 繞過默認的搜索進程
  -processorpath <路徑>        指定查找註釋處理程序的位置
  -parameters                生成元數據以用於方法參數的反射
  -d <目錄>                    指定放置生成的類文件的位置
  -s <目錄>                    指定放置生成的源文件的位置
  -h <目錄>                    指定放置生成的本機標頭文件的位置
  -implicit:{none,class}     指定是否爲隱式引用文件生成類文件
  -encoding <編碼>             指定源文件使用的字符編碼
  -source <發行版>              提供與指定發行版的源兼容性
  -target <發行版>              生成特定 VM 版本的類文件
  -profile <配置文件>            請確保使用的 API 在指定的配置文件中可用
  -version                   版本信息
  -help                      輸出標準選項的提要
  -A關鍵字[=值]                  傳遞給註釋處理程序的選項
  -X                         輸出非標準選項的提要
  -J<標記>                     直接將 <標記> 傳遞給運行時系統
  -Werror                    出現警告時終止編譯
  @<文件名>                     從文件讀取選項和文件名
 

[root@localhost hadoop-2.8.5]# java -version

 

 Hadoop安裝測試

[root@localhost hadoop-2.8.5]# hadoop version

 到此JAVA環境和Hadoop基本就安裝完成了 。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章