1、JDK安裝,解壓到/usr/local/jdk1.6,並配置/etc/profile環境 export JAVA_HOME=/usr/local/jdk1.6 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar 2、下載Hadoop 解壓到每臺服務器的/data/soft目錄下，最好目錄都相同。 tar zxvf hadoop-2.20.1.tar.gz
配置 配置說明 具體配置選項說明詳見
http://www.hadoop.org.cn/document/cn/r0.18.2/cluster_setup.html 1、修改conf/hadoop-env.sh，添加jdk支持 export JAVA_HOME=/usr/local/jdk1.6 2、cd/data/soft/hadoop-2.20.1修改hadoop目錄下的conf/core-site.xml文件，增加以下內容 <configuration> <property> <name>fs.default.name</name>
<value>hdfs://ws:54310</value> //你的namenode的配置，機器名加端口 </property> <property> <name>dfs.name.dir</name> <value>/data/hdfs/hdfs1</value> //NameNode持久存儲名字空間及事務日誌的本地文件系統路徑。 </property>
<property> <name>dfs.data.dir</name> //DataNode存放塊數據的本地文件系統路徑，逗號分割的列表。 <value>/data/hdfs/hdfsdata1</value> </property> <property> <name>hadoop.tmp.dir</name>>//Hadoop的默認臨時路徑，這個最好配置，然後在新增節點或者其他情況下莫名其妙的DataNode啓動不了，就刪除此文件中的tmp目錄即可。不過如果刪除了NameNode機器的此目錄，那麼就需要重新執行NameNode格式化的命令了。 <value>/data/hdfs/hdfstmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>dfs.replication</name> //數據需要備份的數量，默認是三 <value>1</value> </property> </configuration> 3、修改conf/mapred-site.xml增加如下內容 <property> <name>mapred.job.tracker</name> //JobTracker的主機（或者IP）和端口。 <value>ws:54311</value> </property> 4、配置/masters,修改conf//masters master-dfs 修改hosts文件 vi/etc/hosts
192.168.1.11 master-dfs 192.168.1.12 data-dfs 192.168.1.13 client-dfs 5、配置slaves,修改conf/slaves data-dfs 複製hadoop-2.20.1目錄以及所有文件到DataNode和Client scp -rp /data/soft/hadoop-2.20.1 192.168.1.12:/data/soft scp -rp /data/soft/hadoop-2.20.1 192.168.1.13:/data/soft 6、格式化Hdfs文件系統namenode,進入hadoop目錄 [master@hadoop]$bin/hadoop namenode -format 輸入Y,(注意區分大小寫.這裏一定要輸入大寫的Y,否剛不會成功format文件系統) 不出意外，應該會提示格式化成功。如果不成功，就去hadoop/logs/目錄下去查看日誌文件。 7、啓動Hdfs分佈式文件系統 進入hadoop目錄,在bin/下面有很多啓動腳本，可以根據自己的需要來啓動。 * start-all.sh 啓動所有的Hadoop守護。包括namenode, datanode, jobtracker, tasktrack * stop-all.sh 停止所有的Hadoop * start-mapred.sh 啓動Map/Reduce守護。包括Jobtracker和Tasktrack * stop-mapred.sh 停止Map/Reduce守護
* start-dfs.sh 啓動Hadoop DFS守護.Namenode和Datanode * stop-dfs.sh 停止DFS守護 啓動所有守護 [master@hadoop]bin/start-all.sh //會自動找到conf/slaves文件裏的IP或者機器名，啓動相應的slaves服務端 同樣，如果要停止hadoop，則 [master@hadoop]$bin/stop-all.sh 8、HDFS 操作 進入Hadoop目錄,運行bin/目錄的hadoop命令，可以查看Haoop所有支持的操作及其用法，這裏以幾個簡單的操作爲例。 建立目錄 [master@hadoop]$bin/hadoop dfs -mkdir testdir 在HDFS中建立一個名爲testdir的目錄 複製文件 [master@hadoop]$bin/hadoop dfs -put /home/dbrg/large.zip testfile.zip 把本地文件large.zip拷貝到HDFS的根目錄/user/dbrg/下，文件名爲testfile.zip 查看現有文件 [master@hadoop]$bin/hadoop dfs -ls 運行hadoop程序時， 中途我把它終止了，然後再向hdfs加文件或刪除文件時，出現
Name node is in safe mode錯誤： rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 解決的命令： bin/hadoop dfsadmin -safemode leave #關閉safe mode 本文轉載自：http://cqfish.blog.51cto.com/622299/207766
<property> <name>dfs.data.dir</name> //DataNode存放塊數據的本地文件系統路徑，逗號分割的列表。 <value>/data/hdfs/hdfsdata1</value> </property> <property> <name>hadoop.tmp.dir</name>>//Hadoop的默認臨時路徑，這個最好配置，然後在新增節點或者其他情況下莫名其妙的DataNode啓動不了，就刪除此文件中的tmp目錄即可。不過如果刪除了NameNode機器的此目錄，那麼就需要重新執行NameNode格式化的命令了。 <value>/data/hdfs/hdfstmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>dfs.replication</name> //數據需要備份的數量，默認是三 <value>1</value> </property> </configuration> 3、修改conf/mapred-site.xml增加如下內容 <property> <name>mapred.job.tracker</name> //JobTracker的主機（或者IP）和端口。 <value>ws:54311</value> </property> 4、配置/masters,修改conf//masters master-dfs 修改hosts文件 vi/etc/hosts
192.168.1.11 master-dfs 192.168.1.12 data-dfs 192.168.1.13 client-dfs 5、配置slaves,修改conf/slaves data-dfs 複製hadoop-2.20.1目錄以及所有文件到DataNode和Client scp -rp /data/soft/hadoop-2.20.1 192.168.1.12:/data/soft scp -rp /data/soft/hadoop-2.20.1 192.168.1.13:/data/soft 6、格式化Hdfs文件系統namenode,進入hadoop目錄 [master@hadoop]$bin/hadoop namenode -format 輸入Y,(注意區分大小寫.這裏一定要輸入大寫的Y,否剛不會成功format文件系統) 不出意外，應該會提示格式化成功。如果不成功，就去hadoop/logs/目錄下去查看日誌文件。 7、啓動Hdfs分佈式文件系統 進入hadoop目錄,在bin/下面有很多啓動腳本，可以根據自己的需要來啓動。 * start-all.sh 啓動所有的Hadoop守護。包括namenode, datanode, jobtracker, tasktrack * stop-all.sh 停止所有的Hadoop * start-mapred.sh 啓動Map/Reduce守護。包括Jobtracker和Tasktrack * stop-mapred.sh 停止Map/Reduce守護
* start-dfs.sh 啓動Hadoop DFS守護.Namenode和Datanode * stop-dfs.sh 停止DFS守護 啓動所有守護 [master@hadoop]bin/start-all.sh //會自動找到conf/slaves文件裏的IP或者機器名，啓動相應的slaves服務端 同樣，如果要停止hadoop，則 [master@hadoop]$bin/stop-all.sh 8、HDFS 操作 進入Hadoop目錄,運行bin/目錄的hadoop命令，可以查看Haoop所有支持的操作及其用法，這裏以幾個簡單的操作爲例。 建立目錄 [master@hadoop]$bin/hadoop dfs -mkdir testdir 在HDFS中建立一個名爲testdir的目錄 複製文件 [master@hadoop]$bin/hadoop dfs -put /home/dbrg/large.zip testfile.zip 把本地文件large.zip拷貝到HDFS的根目錄/user/dbrg/下，文件名爲testfile.zip 查看現有文件 [master@hadoop]$bin/hadoop dfs -ls 運行hadoop程序時， 中途我把它終止了，然後再向hdfs加文件或刪除文件時，出現
Name node is in safe mode錯誤： rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 解決的命令： bin/hadoop dfsadmin -safemode leave #關閉safe mode 本文轉載自：http://cqfish.blog.51cto.com/622299/207766
