準備條件:兩臺ubuntu虛擬機,兩臺虛擬機的ip處於同一網段
此過程搭建都是在root用戶下搭建的,避免遇到新手最怕和最常遇到權限不足的問題
二:基本環境變量
1:增加root用戶
#:sudo passwd 創建root用戶,然後輸入root密碼
2:修改主機名
注意下文中的 vivim nano 都是文本編輯器,他們的功能相同,但是具體操作不同
#:Master
#:vim /etc/hostname進入hostname文件中,將原名字修改爲master,注意重啓生效
刪除 127.0.1.1 xxxx
#:vim /etc/hosts 進入hosts文件中,將slaver節點和master節點相互關聯,具體操作如下
Slaver節點的 ip slaver 例如:192.168.1.101 master
Master節點的ip master 例如:192.168.1.102 slaver
將它們放到文件的最後一行
#:slaver
#:vim /etc/hostname進入hostname文件中,將原名字修改爲slaver
#:vim /etc/hosts 進入hosts文件中,將原文件中 127.0.1.1 xxxxxx
改爲 127.0.1.1 slaver
#:vim /etc/hosts 進入hosts文件中,將slaver節點和master節點相互關聯,具體操作如下
Slaver節點的 ip slaver 例如:192.168.1.101 master
Master節點的ip master 例如:192.168.1.102 slaver
將它們放到文件的最後一行
能夠ping通,說明配置成功
三:配置ssh
1:
#:Master & slaver
#ssh-keygen(或 ssh-keygen–t rsa) 一路回車生成祕鑰
#:這個命令生成一個密鑰對:id_rsa(私鑰文件)和 id_rsa.pub(公鑰文件),默認被保存 在/root/.ssh/目錄下。
#:在 HadoopMaster 節點的/root/.ssh/目錄下創建 authorized_keys 文件,將該節點生成的 id_rsa.pub 的內容拷貝到 authorized_keys 文件中。
HadoopSlaver 節點 將HadoopMaster 節點/root/.ssh/authorized_keys 文件分別拷貝到 slaver1 的 /root/.ssh 目錄下:
slaver1:
# scp master:/root/.ssh/authorized_keys/root/.ssh/
將slaver節點的 id_rsa.pub拷貝到authorized_keys
將slaver節點的authorized_keys拷貝一份 名字爲a
將a 傳到master節點上
將master節點的a改名爲authorized_keys
無密碼登陸驗證 2個節點通過 ssh 命令相互登陸,如果沒有提示輸入密碼直接登陸成功,說明無密碼登陸配置沒有問題,注意關閉每個節點的防火牆。
四:安裝jdk,配置java環境變量
安裝jdk包,可以通過ubuntu命令下載,也可以通過自己下載jdk包放到ubuntu解壓,我們選擇第二種方法,網上大部分是通過ubuntu直接下載的,如果想用第一種方法可以看這個人的方法,很不錯
http://www.powerxing.com/install-hadoop-cluster/
以下爲jdk下載網址,下載包要記住接收許可協議
http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html
我們下載這個包
下載完成之後,我們將這個包放到共享文件夾之中
Master &slaver
我們可以看到共享文件中已經有了 jdk包了
我們將這個包放到 /usr/local/下
我們查看已經將jdk包放入到了 local文件下了
解壓包
解壓完成會生成jdk1.8.0——144的包
2:配置環境變量
Master &slaver
編輯profile文件,在文件末尾寫入環境變量
生效,使環境變量
環境變量配置成功
五:安裝hadoop
1:下載hadoop包Master
以下爲下載地址
http://mirror.bit.edu.cn/apache/hadoop/common/
將安裝包放入到共享文件夾中
將安裝包移動到/usr/local/這個文件下
2:解壓安裝包
解壓hadoop安裝包
3:配置環境變量
修改文件 profile
在最後一行添加
使環境變量生效
4:修改配置文件
進入/Hadoop/etc/hadoop/文件夾下面
1:修改hadoop-env.sh文件
添加jdk的環境變量
2:修改yarn.env.sh 文件
添加jdk環境變量
3:修改文件 core-site.xml
4:修改文件hdfs-site.xml
5:修改文件yarn-site.xml
6:修改文件 mapred-site.xml
7:修改文件 slaves 刪除原內容添加以下內容
root@master
root@slaver
8:將master節點的hadoop文件傳輸到slaver節點上
Slaver
配置hadoop環境變量和上面一樣,只是在slaver節點中配置
5.5:格式化文件(記住只能在master節點執行這個命令,不能再slaver節點執行這個命令)
碰到問題輸入yes 或 y
完成後 成功是這樣的
Exiting withstatus 0 爲沒有錯誤,反之如果爲其他數字就說明爲幾個錯誤
還有 如果出現succssfully則成功
查看錯誤的方法(看·日誌報表,會顯示錯誤)
5.5:啓動hadoop
Master
在master節點和slaver節點上啓動
其中JobHistoryServer是需要自己手啓的(必須是我的配置文件,或者你配置了JobHistoryServer這個節點的內容)
5.6:查看啓動的節點
使用jps這個命令
Master
少一個都說明配置不成功
Slaver
少一個都說明沒配置成功
5.7:驗證hadoop安裝是否成功
先在/opt/這個目錄下創建兩個 文件 分別叫做 aaa.txt bbb.txt
往這兩個文件中傳入數據
將文件放入到 HDFS系統中
進入這個目錄下
運行實例,
執行這個命令
沒有報錯說明成功
查看結果
5.8:用web頁面查看是否成功
在瀏覽器輸入 http://master:50070/,檢查 namenode 和 datanode 是否正常。UI 頁面如 下圖所示。
在瀏覽器輸入 http://:8088/,檢查 Yarn 是否正常,頁面如下圖所示
注意 5.7 和· 5.8 的驗證方法都必須成功纔可以算搭建完成,否則,都算失敗。