Ubuntu18安裝Hadoop

Ubuntu18 安裝Hadoop

(1)JAVA jdk8.0環境安裝與配置；
(2)SSH環境安裝與配置；
(3)Hadoop僞分佈式模式安裝與配置。
創建Hadoop用戶併爲其設置密碼：
爲Hadoop用戶增加sudo權限：使用命令“sudo adduser hadoop sudo”
然後註銷當前用戶回到登錄界面，登錄hadoop。
使用sudo apt update更新軟件倉庫。

安裝SSH並配置SSH無密碼登錄：

安裝openssh-server:
安裝好後可以使用如下命令登錄本機但是需要輸入用戶密碼：
使用exit命令退出ssh，然後利用 ssh-keygen 生成密鑰，並將密鑰加入到授權中：
現在使用ssh localhost 登錄本機就不用輸入密碼了：
![在這裏插入圖片描述](https://img-blog.csdnimg.cn/20200401152934725.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzcwOTYwMQ==,size_16,color_FFFFFF,t_70

安裝Java環境

我使用的是下面這種方法安裝的java8，直接把“7”改成“8”就可以了：
配置成功後查看JAVA_HOME的值和java版本：
在Ubuntu的瀏覽器搜索Hadoop下載，可以進入Hadoop官網，最好下載static穩定版本的，我下載的版本是hadoop3.2.1，下載完成後再終端使用命令將Hadoop安裝到/usr/local，找不到目錄是因爲Ｕｂｕｎｔｕ１８版本瀏覽器下載文件的保存地方不一樣，然後我把安裝包移到了這個目錄下就可以了：
解壓後可以把文件夾移到專門的文件夾下面比如我這裏是“hadoop”，併爲其添加權限，成功後進入hadoop目錄，運行“./bin/hadoop version”則會顯示Hadoop版本：
Hadoop 默認模式爲非分佈式模式（本地模式），無需進行其他配置即可運行。非分佈式即單 Java 進程，方便進行調試。下面是一個簡單實現的例子：

Hadoop僞分佈式配置

Hadoop 可以在單節點上以僞分佈式的方式運行，Hadoop 進程以分離的 Java 進程來運行，節點既作爲 NameNode 也作爲 DataNode，同時，讀取的是 HDFS 中的文件。 Hadoop 的配置文件位於 /usr/local/hadoop/etc/hadoop/ 中，僞分佈式需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現。
修改配置文件 core-site.xml (通過 gedit 編輯會比較方便: gedit ./etc/hadoop/core-site.xml)，：

注意畫框的地方正確的是：fs.defaultFS。

同樣的，修改配置文件 hdfs-site.xml：
然後執行 NameNode 的格式化:
啓動Hadoop，NameNode 和 DataNode 守護進程：
如果啓動不成功，請仔細檢查前面的配置有沒有問題。
成功啓動後，可以在瀏覽器訪問web界面：http://localhost:9870 (hadoop2版本的端口號是50070）查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件：