Ubuntu搭建hadoop集羣(分佈式)

一:

準備條件:兩臺ubuntu虛擬機,兩臺虛擬機的ip處於同一網段

 

此過程搭建都是在root用戶下搭建的,避免遇到新手最怕和最常遇到權限不足的問題


二:基本環境變量

1:增加root用戶

#:sudo passwd 創建root用戶,然後輸入root密碼

2:修改主機名

注意下文中的 vivim nano 都是文本編輯器,他們的功能相同,但是具體操作不同

 

#:Master

#:vim /etc/hostname進入hostname文件中,將原名字修改爲master,注意重啓生效

 

刪除 127.0.1.1  xxxx  

#:vim /etc/hosts 進入hosts文件中,將slaver節點和master節點相互關聯,具體操作如下

   Slaver節點的 ip slaver           例如:192.168.1.101 master

   Master節點的ip master          例如:192.168.1.102 slaver

 

 

   將它們放到文件的最後一行

 

 

#:slaver

 

#:vim /etc/hostname進入hostname文件中,將原名字修改爲slaver

 

#:vim /etc/hosts 進入hosts文件中,將原文件中 127.0.1.1    xxxxxx

   改爲 127.0.1.1       slaver

 

#:vim /etc/hosts 進入hosts文件中,將slaver節點和master節點相互關聯,具體操作如下

   Slaver節點的 ip slaver           例如:192.168.1.101 master

   Master節點的ip master          例如:192.168.1.102 slaver


將它們放到文件的最後一行


能夠ping通,說明配置成功


三:配置ssh

1:

#:Master & slaver

 

#ssh-keygen(或 ssh-keygen–t rsa) 一路回車生成祕鑰


#:這個命令生成一個密鑰對:id_rsa(私鑰文件)和 id_rsa.pub(公鑰文件),默認被保存 在/root/.ssh/目錄下。





#:在 HadoopMaster 節點的/root/.ssh/目錄下創建 authorized_keys 文件,將該節點生成的 id_rsa.pub 的內容拷貝到 authorized_keys 文件中。


HadoopSlaver 節點 將HadoopMaster 節點/root/.ssh/authorized_keys 文件分別拷貝到 slaver1 的 /root/.ssh 目錄下:

slaver1:

# scp master:/root/.ssh/authorized_keys/root/.ssh/ 


將slaver節點的 id_rsa.pub拷貝到authorized_keys


將slaver節點的authorized_keys拷貝一份 名字爲a


將a 傳到master節點上


將master節點的a改名爲authorized_keys



無密碼登陸驗證 2個節點通過 ssh 命令相互登陸,如果沒有提示輸入密碼直接登陸成功,說明無密碼登陸配置沒有問題,注意關閉每個節點的防火牆。

四:安裝jdk,配置java環境變量


做這一步,你必須有主機和虛擬機連接的手段 如:crt 連接,或virtualBox自帶的共享文件功能 等       共享文件參考網址(http://blog.csdn.net/qq_39852472/article/details/78395257)


1:安裝jdk

安裝jdk包,可以通過ubuntu命令下載,也可以通過自己下載jdk包放到ubuntu解壓,我們選擇第二種方法,網上大部分是通過ubuntu直接下載的,如果想用第一種方法可以看這個人的方法,很不錯

 

http://www.powerxing.com/install-hadoop-cluster/

 

 

以下爲jdk下載網址,下載包要記住接收許可協議

 

http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

 

我們下載這個包

 

下載完成之後,我們將這個包放到共享文件夾之中

 

 

Master &slaver

我們可以看到共享文件中已經有了 jdk包了




我們將這個包放到 /usr/local/下


我們查看已經將jdk包放入到了 local文件下了




解壓包




 

解壓完成會生成jdk1.8.0——144的包



 

2:配置環境變量

Master &slaver




編輯profile文件,在文件末尾寫入環境變量



生效,使環境變量



環境變量配置成功



五:安裝hadoop

1:下載hadoop

Master

以下爲下載地址

http://mirror.bit.edu.cn/apache/hadoop/common/

 

將安裝包放入到共享文件夾中




將安裝包移動到/usr/local/這個文件下




2:解壓安裝包

解壓hadoop安裝包



 解壓完成會生成一個hadoop-2.7.0的包,將hadoop-2.7.0 包重命名爲hadoop



3:配置環境變量


修改文件 profile



在最後一行添加



使環境變量生效



4:修改配置文件

進入/Hadoop/etc/hadoop/文件夾下面



1:修改hadoop-env.sh文件



添加jdk的環境變量



2:修改yarn.env.sh 文件




添加jdk環境變量



3:修改文件 core-site.xml



4:修改文件hdfs-site.xml



5:修改文件yarn-site.xml



6:修改文件 mapred-site.xml



7:修改文件 slaves 刪除原內容添加以下內容


root@master

root@slaver

 

 

8:將master節點的hadoop文件傳輸到slaver節點上


 

Slaver

 

配置hadoop環境變量和上面一樣,只是在slaver節點中配置

 

5.5:格式化文件(記住只能在master節點執行這個命令,不能再slaver節點執行這個命令)


碰到問題輸入yes 或 y

 

 

 

完成後  成功是這樣的


Exiting withstatus 0 爲沒有錯誤,反之如果爲其他數字就說明爲幾個錯誤

 

還有 如果出現succssfully則成功

 

 

 

查看錯誤的方法(看·日誌報表,會顯示錯誤)

5.5:啓動hadoop

Master

在master節點和slaver節點上啓動

 

 

其中JobHistoryServer是需要自己手啓的(必須是我的配置文件,或者你配置了JobHistoryServer這個節點的內容)



5.6:查看啓動的節點

使用jps這個命令

 

Master


少一個都說明配置不成功

 

Slaver


少一個都說明沒配置成功


5.7:驗證hadoop安裝是否成功

先在/opt/這個目錄下創建兩個 文件 分別叫做 aaa.txt bbb.txt



往這兩個文件中傳入數據




將文件放入到 HDFS系統中



進入這個目錄下



運行實例,

執行這個命令


沒有報錯說明成功

 

查看結果


5.8:用web頁面查看是否成功


在瀏覽器輸入 http://master:50070/,檢查 namenode 和 datanode 是否正常。UI 頁面如 下圖所示。


在瀏覽器輸入 http://:8088/,檢查 Yarn 是否正常,頁面如下圖所示


注意 5.7 和· 5.8 的驗證方法都必須成功纔可以算搭建完成,否則,都算失敗。




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章