Hadoop學習筆記一

第一個hands-on入門程序：

參考  http://blog.csdn.net/sim_szm/article/details/12578055   搭建環境並跑WordCount程序，區別是我安裝的是最新的hadoop版本0.23.11，JDK我使用的是Sun JDK，Linux使用的是國產的Kylin。

問題一：Error: JAVA_HOME is not set and could not be found.

解決方案：

1. /etc/profile 文件中export JAVA_HOME

2. ${HADOOP_HOME}/libexec/hadoop-config.sh 顯式export JAVA_HOME

3. ${HADOOP_HOME}/etc/hadoop/yarn-env.sh 顯式export JAVA_HOME

問題二：NameNode 沒有啓動

解決方案：

1. 刪除core-site.xml文件中配置的tmp目錄

2. 運行  hadoop namenode -format  命令

3. 再運行sbin目錄下的start-dfs.sh腳步啓動NameNode和datanode

問題三：爲何需要SSH

解決方案：Hadoop集羣成員的通訊機制都是使用SSH，即使是單機環境，內部腳本也會運行 ssh localhost進行處理，所以安裝SSH是必須的。