一、硬件環境
1、windows 7 專業 64位
2、VMware Workstation ACE 版 6.0.2
3、Redhat Linux 5
4、Hadoop-1.2.1
|
Windows |
VM |
IP |
作用 |
|
|
Window 7 64位 |
VMware Workstation |
Redhat1 |
192.168.24.250 |
NameNode、master、jobTracker |
|
Redhat2 |
192.168.24.249 |
DataNode、slave、taskTracker |
||
|
Redhat3 |
192.168.24.248 |
DataNode、slave、taskTracker |
二、安裝 VMware Workstation 和Redhat Linux 5
1、VMware Workstation和Redhat Linux 5的安裝，網上到處都是，我也是在網上隨便找的，你可以找寫得更詳細準確的，這裏不再贅述，可參考：
注：當你在虛擬機上安裝完一個Linux後，不要重複安裝步驟，使用虛擬機帶的克隆功能，可以很容易複製出多臺一模一樣的Linux。
可參考：
完成這一步驟後的效果
三、安裝配置Hadoop
1、安裝hadoop前先配置Linux
（1）更改三臺機器的網絡連接方式
選中要更改的虛擬機，右擊-設置（Settings）
（2）以root用戶登錄Linux，設置IP地址和默認網關（三臺機器都要設置）
輸入vi /etc/sysconfig/network-scripts/ifcfg-eth0 ，（vi的使用不再贅述，不懂自己網上查）修改該文件內容爲：
DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.24.250
GATEWAY=192.168.27.254
NETMASK=255.255.255.0
ONBOOT=yes
IP地址和默認網關根據自己需要進行設置
（3）配置虛擬機的主機名（三臺機器都要設置）
輸入vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=redhat1
（4）配置主機名與ip地址的對應關係（三臺機器都要設置）
輸入 vi /etc/hosts
127.0.0.1 localhost
192.168.24.250 redhat1
192.168.24.249 redhat2
192.168.24.248 redhat3
這是標準內容。去掉多餘的，否則可能出現Hadoop在master查看live
nodes爲0
（5）關閉防火牆（三臺機器都要設置）
輸入 chkconfig iptables off 開機不啓動防火牆
輸入 service iptables stop 關閉當前防火牆服務
當然也可以設置防火牆對hadoop放行，爲了簡單起見，我這裏就直接關閉防火牆了。
（6）測試網絡是否聯通
設置完成之後，在每臺虛擬機之間執行ping命令，保證虛擬機之間網絡沒有問題
如：ping 192.168.24.249
2、建立linux之間ssh無密碼登錄
這個網上也到處都是，參考：
到此爲止，鋪墊工作算是做完了。
3、安裝和配置JDK（三臺機器都要安裝）
這個參考我的文章
4、安裝hadoop（三臺機器都要安裝）
（1）到hadoop官網下載hadoop1.2.0
（2）使用ftp上傳到linux，如果不懂，可以參考我的文章：
（3）解壓安裝
進入hadoop-1.2.0.tar.gz所在的目錄
輸入：
tar -zvxf hadoop-1.2.0.tar.gz
即安裝完畢
5、配置Hadoop（三臺機器都要設置）
（1）配置hadoop環境變量
和設置jdk環境變量一樣
命令：vi /etc/profile
在文件最後輸入：
export HADOOP_HOME=/usr/local/hadoop-1.2.0
export PATH=$PATH:$HADOOP_HOME/bin
執行命令source /etc/profile 使profile生效
（2）配置hadoop運行參數
更改hadoop安裝路徑下/conf/hadoop-env.sh的文件（三臺機器都要設置）
第9行加入export JAVA_HOME=/usr/java/jdk1.7.0_21
更改hadoop安裝路徑/conf/masters和slaves兩個文件。（只配置192.168.24.250虛擬機）
masters中輸入：192.168.24.250
slaves中輸入：
192.168.24.249
192.168.24.248
配置hadoop安裝路徑/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三個文件。(三臺機器都要設置)
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.24.250:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.24.250:9001</value>
</property>
</configuration>
（3）格式化文件系統
命令：Hadoop namenode –format
至此hadoop已經安裝配置完畢了。
四、測試
1、啓動hadoop
在192.168.24.250機器上執行如下指令，啓動hadoop安裝目錄bin下：
Start-all.sh
對於hadoop來說，啓動所有進程是鼻血的，但是如果有必要，你依然可以只啓動HDFS（start-dfs）或MapReduce（start-mapred.sh）
Web瀏覽器監視HDFS文件系統狀態和MAPREDUCE執行任務的情況。
HDFS文件系統
瀏覽器中輸入：http://192.168.11.188:50070/
瀏覽器中輸入：http://192.168.11.188:50030
2、運行hadoop自帶的wordcount示例
依次執行命令：
echo “It is a dog”> input1
echo "it is not a dog" > input2
hadoop fs -mkdir input
hadoop fs -copyFromLocal /root/input* input
hadoop jar /usr/local/hadoop-1.2.0/hadoop-examples-1.2.0.jar wordcount input output
可以查看運行狀態http://192.168.24.250:50030
查看運行結果
至此全部成功！
