hadoop2.6.0版本搭建僞分佈式環境

由於個人需要在自己的筆記本上搭建hadoop僞分佈環境,爲了方便自己使用,如想看機器也看之前的一篇博客:hadoop2.6.0版本集羣環境搭建

一臺虛擬機,配置信息如下:


內存:1G,cpu:一個core,硬盤:15G

1、修改下主機名爲master

sudo vi /etc/sysconfig/network


修改結果後:


重啓電腦後再查看結果:


修改主機名成功

2、修改hosts中的主機名:



修改後:



 

3、配置SSH


進入.ssh目錄並生成authorized_keys文件:


授權.ssh/文件夾權限爲700,authorized_keys文件權限爲600(or 644):


ssh驗證:


 

4、hadoop安裝:

去官網下載hadoop最新安裝包:http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下載並解壓後:


 

修改系統配置文件,修改~/.bash_profile文件,增加HADOPP_HOME的bin文件夾到PATH中,修改後使用source命令使配置文件生效:


 

在hadoop目錄下創建文件夾:


 

接下來開始修改hadoop的配置文件,首先進入hadoop2.6配置文件夾:


第一步修改配置文件hadoop-env.sh,加入"JAVA-HOME",如下所示:


指定我們安裝的“JAVA_HOME”:


 

第二步修改配置文件"yarn-env.sh",加入"JAVA_HOME",如下所示:


指定我們安裝的“JAVA_HOME”:

 

第三步 修改配置文件“mapred-env.sh”,加入“JAVA_HOME”,如下所示:


指定我們安裝的“JAVA_HOME”:


 

第四步 修改配置文件slaves,如下所示:


設置從節點爲master,因爲我們是僞分佈式,如下所示:


第五步 修改配置文件core-site.xml,如下所示:


修改core-site.xml文件後:


目前來說,core-site.xml文件的最小化配置,core-site.xml各項配置可參考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml

第六步 修改配置文件 hdfs-site.xml,如下所示:


hdfs-site.xml文件修改後:


上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各項配置可參考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

 

第七步 修改配置文件 mapred-site.xml,如下所示:

copy mapred-site.xml.template命名爲mapred-site.xml,打開mapred-site.xml,如下所示:


mapred-site.xml 修改後:


上述是mapred-site.xml最小化配置,mapred-site.xml各項配置可參考:http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

 

第八步 配置文件yarn-site.xml,如下所示:


yarn-site.xml修改後:


上述內容是yarn-site.xml的最小化配置,yarn-site文件配置的各項內容可參考:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

 

5、啓動並驗證hadoop僞分佈式

第一步:格式化hdfs文件系統:



 

第二步:進入sbin中啓動hdfs,執行如下命令:


此刻我們發現在master上啓動了NameNode、DataNode、SecondaryNameNode

此刻通過web控制檯查看hdfs,http://master:50070/ 


 


 

點擊“Live Nodes”,查看一下其信息:


第三步:啓動yarn


使用jps命令可以發現master機器啓動了ResourceManager進程

 

PS:我們上傳一個文件到hdfs吧:


 

hadoop web控制檯頁面的端口整理:

50070:hdfs文件管理

8088:ResourceManager

8042:NodeManager

19888:JobHistory(使用“mr-jobhistory-daemon.sh”來啓動JobHistory Server)

發佈了60 篇原創文章 · 獲贊 0 · 訪問量 1萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章