Hadoop的僞分佈式搭建

我們在搭建僞分佈式Hadoop環境，需要將一系列的配置文件配置好。
一、配置文件
1. 配置文件hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2. 配置core-site.xml


dfs.defaultFS
hdfs://hostname:8020



hadoop.tmp.dir
/opt/modules/hadoop-2.5.0/data/tmp

1. 配置hdfs-site.xml
   
   
   dfs.replication
   3
   

2. 配置yarn-site.xml
   
   yarn.nodemanager.aux-services
   mapreduce_shuffle
   

3. 配置mapred-site.xml
   
   mapreduce.framework.name
   yarn
   

二、啓動HDFS
1，格式化NameNode
bin/hdfs namenode -format
2，啓動NameNode
bin/hadoop.daemon.sh start namenode
3，啓動DataNode
bin/hadoop.daemon.sh start datanode
4，HDFS的WEB監控頁面：
http://hostname:50070
5，啓動SecondaryNameNode
bin/hadoop.daemon.sh start secondarynamenode
6，SecondaryNameNode的WEB監控頁面：
http://hostname:50090

三、日誌文件
啓動每個守護進程會產生兩個log文件，文件路徑爲$HADOOP_HOME/logs目錄下，文件的格式爲【.log】和【.out】
.log：log4j記錄，記錄大部分應用程序的日誌信息
.out：記錄標準輸出和標準錯誤日誌，少量記錄
日誌的命名規則：【框架名+用戶名+進程名+主機名+日誌格式】

四、啓動YARN
1，啓動ResourceManager
bin/yarn-daemon.sh start resourcemanager
2，啓動NodeManager
bin/yarn-daemon.sh start nodemanager
3，YARN的WEB監控界面：
http://hostname:8088 resourcemanager
http”//hostname:8042 nodemanager

五、歷史服務器
1，啓動歷史服務器
bin/mr-jobhistory-daemon.sh start historyserver
2，歷史服務器監控界面
http://hostname:19888