Hadoop-2.4.1安裝配置
1、下載地址
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/
linux命令下具體操作如下：
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz
2、安裝配置參考文檔
官網：
這是單機配置
http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/SingleCluster.html
博客：
http://blog.csdn.net/liangliangdetianxia/article/details/37716141
3、具體安裝配置
1、下載
2、解壓
root@i-5ygfjuik:~#tar zxvf hadoop-2.4.1.tar.gz.1
3、單機配置
在hadoop文件夾下
etc/hadoop/hadoop-env.sh
修改下面內容
# set to theroot of your Java installation
export JAVA_HOME=/usr/java/latest
本例中用到export JAVA_HOME=/opt/jdk
//hadoop的安裝路徑
Hadoop 環境配置
需要在linux系統下 找到profile文件進行配置 profile文件一般都在/etc/profile
以本文爲例具體配置如下：
# vim /etc/profile
export HADOOP_PREFIX=/root/hadoop-2.4.1
export PATH=$PATH:$HADOOP_PREFIX/bin
#Assuming your installation directory is /usr/local/hadoop
exportHADOOP_PREFIX=/usr/local/hadoop
啓動hadoop
$ bin/hadoop
4、僞分佈配置(配置不全)
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop# vimcore-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
僞分佈配置
需要進入hadoop安裝目錄下找到 hadoop目錄下的etc/hadoop
--------------------------------------------------------
對etc/hadoop中的文件進行配置（相關文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）
a.配製core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.4.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.4.1/dfs/data</value>
</property>
</configuration>
注意紅色字體hadoop是我爲配置hadoop2.4.1設立的賬戶名稱，是系統在home目錄下自動創建的，可以根據需要更改。
b.配製hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<!--系統默認文件保存3份，因僞分佈模式，故改爲1份-->
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop-2.4.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop-2.4.0/dfs/data</value>
</property>
</configuration>
c.配製mapred-site.xml（具體參考安裝的版本）
<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:9001</value>
</property>
</configuration>
d.配置yarn-site.xml
<configuration>
<!-- Sitespecific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
---------------------------------------------------
現在，檢查SSh 能否自動登錄（不需要密碼）
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh localhost
如果不可以，就按下面設置
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
執行
1、格式化
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs namenode –format
必須這樣執行，不能進入bin 在執行
2、開始NameNode 和DataNode的守護進程
root@i-5ygfjuik:~/hadoop-2.4.1# sbin/start-dfs.sh
3、瀏覽NameNode的界面 默認情況下是可以的
4、使HDFS目錄能夠執行MAPReduce的工作
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs –mkdir /user
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs –mkdir /user/username
5、複製輸入文件到這個分佈式系統
（還沒跑通）
root@i-5ygfjuik:~/hadoop-2.4.1# bin/hdfs dfs -putetc/hadoop input
6、運行一些提供的例子
root@i-5ygfjuik:~/hadoop-2.4.1# bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output'dfs[a-z.]+'
7、檢查輸出結果
把輸出文件從分佈式文件系統拷貝到本地文件系統，以便研究結果
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -get output output
root@i-5ygfjuik:~/hadoop-2.4.1#cat output/*
在分佈式系統中查看結果
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -cat output/*
8、當你完成後，停止守護進程
root@i-5ygfjuik:~/hadoop-2.4.1#sbin/stop-dfs.sh