hadoop2.4.1僞分佈模式部署 - wrencai
時間 2014-08-08 14:54:33 博客園-所有隨筆區
原文 http://www.cnblogs.com/wrencai/p/3899375.html
hadoop2.4.1僞分佈模式部署
（ 承接上一篇hadoop2.4.1-src的編譯安裝繼續配置 ： http://www.cnblogs.com/wrencai/p/3897438.html ）
感謝： http://blog.sina.com.cn/s/blog_5252f6ca0101kb3s.html
感謝： http://blog.csdn.net/coolwzjcool/article/details/32072157
1.配置hadoop環境變量
在/etc/profile文件結尾增加hadoop安裝目錄的PATH路徑
export HADOOP_PREFIX=/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1
export PATH=$PATH:$HADOOP_PREFIX/bin
2.配置hadoop相關配置文件
進入到hadoop安裝目錄此處爲：/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1
對etc/hadoop中的文件進行配置（相關文件hadoop-env.sh 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）
a.配製core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.4.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.4.1/dfs/data</value>
</property>
</configuration>
注意紅色字體hadoop是我爲配置hadoop2.4.1設立的賬戶名稱，是系統在home目錄下自動創建的，可以根據需要更改。
b.配製hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<!--系統默認文件保存3份，因僞分佈模式，故改爲1份-->
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop-2.4.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop-2.4.0/dfs/data</value>
</property>
</configuration>
c.配製mapred-site.xml
<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:9001</value>
</property>
</configuration>
d.配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.ssh免密碼登陸設置： 參考 http://lhflinux.blog.51cto.com/1961662/526122
ssh鏈接是需要密碼認證的，可以通過添加系統認證（即公鑰-私鑰）的修改，修改後系統間切換可以避免密碼輸入和ssh認證。
a. 修改文件：vi /etc/ssh/sshd_config
RSAAuthentication yes 開啓RSA加密方式
PubkeyAuthentication yes 開啓公鑰認證
AuthorizedKeysFile .ssh/authorized_keys 公鑰存放位置
PasswordAuthentication no 拒絕使用密碼登錄
GSSAPIAuthentication no 防止登錄慢，以及報錯問題
ClientAliveInterval 300 300秒超時自動退出 ClientAliveCountMax 10 允許SSH遠程連接的最大數
b.在root根目錄下執行：
ssh-keygen -t rsa -P ''"
回車，然後輸入密碼， 完成後再執行：（本機作爲僞集羣的一個節點，也需要將認證寫入authorized,不執行下一句可能會出現agent admitted failure to sign using the key 錯誤，參考 http://blog.chinaunix.net/uid-28228356-id-3510267.html )）
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
d.執行下面命令，能夠直接進入則表示成功
[root@localhost]#ssh localhost
Last login:Fri Aug 8 13:44:42 2014 from localhost
4.運行測試hadoop
a.到hadoop2.4.0目錄下執行下面命令，格式化結點信息，最後一句出現 "shutting down..."，中間沒有warn或者fatal error應該就對了。此處可能會出現 STARTUP_MSG: host = java.net. UnknownHostException: localhost.localdomain: localhost.localdomain的提示，可以參考 http://lxy2330.iteye.com/blog/1112806 進行修改，或者臨時通過hostname localhost命令將本機主機名改爲localhost.
./bin/hadoop namenode –format
b.執行sbin/start-all.sh啓動hadoop第一次可能不成功，這是可以通過先執行一次sbin/stop-all.sh然後在執行sbin/start-all.sh來完成，最後用jps命令查看進程
[root@localhost hadoop-2.4.1]# ./sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to
/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-namenode-localhost.out
localhost: starting datanode, logging to
/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to
/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-secondarynamenode-localhost.out
starting yarn daemons
starting resourcemanager, logging to
/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/yarn-root-resourcemanager-localhost.out
localhost: starting nodemanager, logging to
/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/yarn-root-nodemanager-localhost.out
[root@localhost hadoop-2.4.1]# ssh localhost
Last login: Fri Aug 8 13:44:41 2014 from localhost
[root@localhost ~]# jps
28186 ResourceManager
28025 SecondaryNameNode
27743 NameNode
28281 NodeManager
29223 Jps
[root@localhost ~]#