http://blog.csdn.net/hitwengqi/article/details/8008203
首先要了解一下Hadoop的運行模式:
單機模式(standalone)
單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時,Hadoop無法瞭解硬件安裝環境,便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均爲空。當配置文件爲空時,Hadoop會完全運行在本地。因爲不需要與其他節點交互,單機模式就不使用HDFS,也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。
僞分佈模式(Pseudo-Distributed Mode)
僞分佈模式在“單節點集羣”上運行Hadoop,其中所有的守護進程都運行在同一臺機器上。該模式在單機模式之上增加了代碼調試功能,允許你檢查內存使用情況,HDFS輸入輸出,以及其他的守護進程交互。
全分佈模式(Fully Distributed Mode)
Hadoop守護進程運行在一個集羣上。
版本:ubuntu 10.04.4,hadoop 1.0.2
1.添加hadoop用戶到系統用戶
安裝前要做一件事——添加一個名爲hadoop到系統用戶,專門用來做Hadoop測試。
- ~$ sudo addgroup hadoop
- ~$ sudo adduser --ingroup hadoop hadoop
- ~$ sudo usermod -aG admin hadoop
由於Hadoop用ssh通信,先安裝ssh
- ~$ sudo apt-get install openssh-server
ssh安裝完成以後,先啓動服務:
- ~$ sudo /etc/init.d/ssh start
- ~$ ps -e | grep ssh
作爲一個安全通信協議,使用時需要密碼,因此我們要設置成免密碼登錄,生成私鑰和公鑰:
- hadoop@scgm-ProBook:~$ ssh-keygen -t rsa -P ""
因爲我已有私鑰,所以會提示是否覆蓋當前私鑰。第一次操作時會提示輸入密碼,按Enter直接過,這時會在~/home/{username}/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者爲私鑰,後者爲公鑰,現在我們將公鑰追加到authorized_keys中(authorized_keys用於保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容):
- ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- ~$ ssh localhost
登出:
- ~$ exit
- ~$ ssh localhost
登出:
- ~$ exit
3.安裝Java
- ~$ sudo apt-get install openjdk-6-jdk
- ~$ java -version
4.安裝hadoop 1.0.2
到官網下載hadoop源文件,這裏選擇hadoop 1.0.2
解壓並放到你希望的目錄中。我是放到/usr/local/hadoop
- ~$ sudo tar xzf hadoop-1.0.2.tar.gz
- ~$ sudo mv hadoop-1.0.2 /usr/local/hadoop
- ~$ sudo chown -R hadoop:hadoop /usr/local/hadoop
5.設定hadoop-env.sh(Java 安裝路徑)
進入hadoop目錄,打開conf目錄下到hadoop-env.sh,添加以下信息:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (視你機器的java安裝路徑而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
並且,讓環境變量配置生效source
- ~$ source /usr/local/hadoop/conf/hadoop-env.sh
至此,hadoop的單機模式已經安裝成功。
於是,運行一下hadoop自帶的例子WordCount來感受以下MapReduce過程:
在hadoop目錄下新建input文件夾- ~$ mkdir input
- ~$ cp conf/* input<span style="font-family: Arial, Helvetica, sans-serif; white-space: normal; background-color: rgb(255, 255, 255); "> </span>
- ~$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
運行
- ~$ cat output/*
下面是僞分佈模式需要的一些配置,繼續。
6.設定*-site.xml
這裏需要設定3個文件:core-site.xml,hdfs-site.xml,mapred-site.xml,都在/usr/local/hadoop/conf目錄下
core-site.xml: Hadoop Core的配置項,例如HDFS和MapReduce常用的I/O設置等。
hdfs-site.xml: Hadoop 守護進程的配置項,包括namenode,輔助namenode和datanode等。
mapred-site.xml: MapReduce 守護進程的配置項,包括jobtracker和tasktracker。
首先在hadoop目錄下新建幾個文件夾
- ~/hadoop$ mkdir tmp
- ~/hadoop$ mkdir hdfs
- ~/hadoop$ mkdir hdfs/name
- ~/hadoop$ mkdir hdfs/data
接下來編輯那三個文件:
core-site.xml:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/usr/local/hadoop/tmp</value>
- </property>
- </configuration>
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.name.dir</name>
- <value>/usr/local/hadoop/hdfs/name</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/usr/local/hadoop/hdfs/data</value>
- </property>
- </configuration>
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
7.格式化HDFS
- ~$ source /usr/local/hadoop/conf/hadoop-env.sh
- ~$ hadoop namenode -format
8.啓動Hadoop
接着執行start-all.sh來啓動所有服務,包括namenode,datanode,start-all.sh腳本用來裝載守護進程。
- hadoop@ubuntu:/usr/local/hadoop$ cd bin
- hadoop@ubuntu:/usr/local/hadoop/bin$ start-all.sh
用Java的jps命令列出所有守護進程來驗證安裝成功
- hadoop@ubuntu:/usr/local/hadoop$ jps
9.檢查運行狀態
所有的設置已完成,Hadoop也啓動了,現在可以通過下面的操作來查看服務是否正常,在Hadoop中用於監控集羣健康狀態的Web界面:
http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 狀態
http://localhost:50070/ - Hadoop DFS 狀態
Hadoop 管理介面:
Hadoop Task Tracker 狀態:
Hadoop DFS 狀態:
至此,hadoop的僞分佈模式已經安裝成功,於是,再次在僞分佈模式下運行一下hadoop自帶的例子WordCount來感受以下MapReduce過程:
這時注意程序是在文件系統dfs運行的,創建的文件也都基於文件系統:
首先在dfs中創建input目錄
- hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input
- hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input
- hadoop@ubuntu:/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output
顯示輸出結果
- hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -cat output/*
- hadoop@ubuntu:/usr/local/hadoop$ bin/stop-all.sh
10.結語
在ubuntu上搭建hadoop成功!有點小興奮,已經迫不及待的想開始做一些相關的開發及深入理解hadoop內核實現,繼續加油咯!
PS:單機模式和僞分佈模式均用於開發和調試的目的。真實Hadoop集羣的運行採用的是第三種模式,即全分佈模式。待續。
本文參考了這兩位同學的文章,感謝分享阿!
http://blog.sina.com.cn/s/blog_61ef49250100uvab.html