今天經過一天的努力 終於將hadoop集羣搭建完畢
一共三臺機器 一臺namenode 兩臺datanode
其中一臺datanode 是jobtracker和tasktracker 另一臺datanode是tasktracker
其中參考了文章 http://blog.csdn.net/lee_leefox/article/details/7071692
和hadoop官方文檔和同事搭建的例子
安裝過程中也遇到很多問題
1.ssh 無法連接本地
通過諮詢運維同學 通過修改/etc/ssh/sshd_config文件
加入allowuser 後解決
2.技巧
參考了一篇文章,建議給所有機器都起名字
如namenode,datanode1,datanode2
不要用hadoop1 hadoop2這樣久了不容易記清楚的名字
3.啓動hadoop時 先啓動namenode 再啓動jobtracker
停止時順序相反.
注意的是,要在namenode 上啓動 hdfs
bin/start-dfs.sh
在jobtracker上啓動mapreduce
bin/start-mapred.sh