CentOs 8.0 下安裝Hadoop
在Linux系統下安裝Hadoop環境具體流程:
1. 首先安裝java jdk1.8
有兩種方法:
- 安裝Oracle的jdk(相對複雜);
- 安裝OpenJDK(相對簡單,我安裝的是這種);
這兩種jdk的區別,給個鏈接大家去看 https://www.php.cn/java-article-415831.html
安裝OpenJDK一個命令就搞定
[root@localhost /]# yum install -y java-1.8.0-openjdk-devel.x86_64
如果想安裝別的版本的話,可以通過如下命令搜索一下,看看有哪些版本(注意是JDK還是JRE)
[root@localhost /]# yum search jdk
上次元數據過期檢查:0:31:04 前,執行於 2019年10月31日 星期四 10時51分10秒。
============================ 小結 和 名稱 匹配:jdk ============================
java-11-openjdk-demo.x86_64 : OpenJDK Demos 11
java-1.8.0-openjdk-demo.x86_64 : OpenJDK Demos 8
java-11-openjdk-jmods.x86_64 : JMods for OpenJDK 11
java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11
java-1.8.0-openjdk-src.x86_64 : OpenJDK Source Bundle 8
java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11
copy-jdk-configs.noarch : JDKs configuration files copier
java-1.8.0-openjdk.x86_64 : OpenJDK Runtime Environment 8
java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation
java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation
java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11
java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment 8
java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11
java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector
java-1.8.0-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 8
java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in
: a single archive
java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed
: in a single archive
================================ 小結 匹配:jdk ================================
icedtea-web.noarch : Additional Java components for OpenJDK - Java browser
: plug-in and Web Start implementation
2. 安裝Hadoop
(1) 下載Hadoop
直接去官網http://hadoop.apache.org/releases.html下載Hadoop最新版本,新版本可能不太好穩定,我下載的版本如下
點擊binary,進入如下網頁,複製(不是下載哦)一個下載源,這裏我複製的清華大學的(下面紅色框框中的)
回到Linux系統命令行中,自行創建一個目錄,存放Hadoop壓縮包
這是我的目錄結構,hadoop是一個空文件夾(記住我是在root管理員下進來的)
直接開始在系統中下載Hadoop,命令如下(直接複製粘貼即可):
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
系統就開始下載這個壓縮包,因爲使用的是清華數據源,所以下載起來很快。
(2)解壓文件
下載之後,輸入ls命令查看當前目錄文件,可以發現多了一個hadoop-2.8.5.tar.gz文件,這是hadoop壓縮包
解壓該文件 輸入命令:
tar -xvf hadoop-2.8.5.tar.gz
解壓過程系統屏幕刷刷刷的,等就好了。
(3)備份文件
解壓後就只有一個hadoop文件夾,這裏面有很多hadoop的配置文件,保險起見,我們執行復制文件命令
cp -r hadoop-2.8.5 /usr/software/hadoop/hadoop-2.8.5-backup
複製一個備份文件(hadoop-2.8.5-backup是備份的文件)出來,這樣就不怕改錯了。
(4)配置環境變量
(Hadoop和JAVA一起配)
通過vi命令編輯環境變量文件
vi ~/.bashrc
j進來的界面如下,紅色框起來的是我本次配的環境變量
一行一行講解吧:
1)配置JAVA的環境變量
JAVA_HOME=/usr/lib/jvm/java
如果按照我的方法安裝的OpenJdk的話,jdk則默認安裝在這個路徑下了,直接按照我的複製粘貼就好了。
不然就自己設置等號右邊的jdk的路徑即可,沒什麼太複雜的地方。
PATH=$JAVA_HOME/bin:$PATH:
第二行就是將這個環境變量鍵值對放到系統中去,如果不懂環境變量是什麼意思。(懂得話直接忽略)
最好去理解一下,簡單來說就是給指定 文件在系統中設置一個快捷訪問方式,通過左邊的變量JAVA_HOME映射右邊的指定文件的路徑,以後直接使用JAVA_HOME就是直接找到對應文件的路徑了。
到這裏JAVA的已經配置完了。
2)Hadoop的環境變量配置
也就是第三行了,同樣左邊是變量名,右邊是Hadoop的安裝路徑(每個人的安裝路徑不同,記得修改)
HADOOP_INSTALL=/usr/software/hadoop/hadoop-2.8.5
第四行第五行也是將Hadoop的兩個bin文件添加到系統環境中,這裏不用修改
PATH=$HADOOP_INSTALL/bin:$PATH:.
PATH=$HADOOP_INSTALL/sbin:$PATH:.
最後一行可有可無,因爲我也沒添加到系統中,就是簡單的註冊了我的備份的hadoop的文件的環境變量鍵值對。
也加上吧,以後說不定要用!(備份文件的路徑也需要設置爲自己的文件所在路徑哈)
HADOOP_CONF_DIR=/usr/software/hadoop/hadoop-2.8.5-backup
(這個圖和上面的一樣)
最後添加代碼:
export JAVA_HOME
export HADOOP_INSTALL
export HADOOP_CONF_DIR
export PATH
編輯完畢,按下esc,輸入:wq命令保存並退出即可。
(5)使配置文件立即生效
直接執行如下命令:
source ~/.bashrc
(6) 測試是否安裝成功
1.測試java安裝情況
[root@localhost hadoop-2.8.5]# javac
執行結果如下:
[root@localhost hadoop-2.8.5]# javac
用法: javac <options> <source files>
其中, 可能的選項包括:
-g 生成所有調試信息
-g:none 不生成任何調試信息
-g:{lines,vars,source} 只生成某些調試信息
-nowarn 不生成任何警告
-verbose 輸出有關編譯器正在執行的操作的消息
-deprecation 輸出使用已過時的 API 的源位置
-classpath <路徑> 指定查找用戶類文件和註釋處理程序的位置
-cp <路徑> 指定查找用戶類文件和註釋處理程序的位置
-sourcepath <路徑> 指定查找輸入源文件的位置
-bootclasspath <路徑> 覆蓋引導類文件的位置
-extdirs <目錄> 覆蓋所安裝擴展的位置
-endorseddirs <目錄> 覆蓋簽名的標準路徑的位置
-proc:{none,only} 控制是否執行註釋處理和/或編譯。
-processor <class1>[,<class2>,<class3>...] 要運行的註釋處理程序的名稱; 繞過默認的搜索進程
-processorpath <路徑> 指定查找註釋處理程序的位置
-parameters 生成元數據以用於方法參數的反射
-d <目錄> 指定放置生成的類文件的位置
-s <目錄> 指定放置生成的源文件的位置
-h <目錄> 指定放置生成的本機標頭文件的位置
-implicit:{none,class} 指定是否爲隱式引用文件生成類文件
-encoding <編碼> 指定源文件使用的字符編碼
-source <發行版> 提供與指定發行版的源兼容性
-target <發行版> 生成特定 VM 版本的類文件
-profile <配置文件> 請確保使用的 API 在指定的配置文件中可用
-version 版本信息
-help 輸出標準選項的提要
-A關鍵字[=值] 傳遞給註釋處理程序的選項
-X 輸出非標準選項的提要
-J<標記> 直接將 <標記> 傳遞給運行時系統
-Werror 出現警告時終止編譯
@<文件名> 從文件讀取選項和文件名
[root@localhost hadoop-2.8.5]# java -version
Hadoop安裝測試
[root@localhost hadoop-2.8.5]# hadoop version
到此JAVA環境和Hadoop基本就安裝完成了 。