Ubuntu15 中安裝hadoop2.7單機模式 (圖文詳細步驟)
材料:
ubuntu 15.04
jdk 1.8.51(在ubuntu終端下載,下面詳細解析)
hadoop 2.7.1(是ubuntu終端下載,下面將詳細解析)
安裝:
1. 在ubuntu中創建hadoop用戶
1.1. ctrl+Alt+T打開終端窗口,然後輸入如下命令創建新用戶。
$ sudo useradd -m hadoop -s -/bin/bash
1.2. 使用下面命令修改密碼(筆者密碼爲hadoop)
$ sudo passwd hadoop
1.3. 接着爲hadoop增加管理員的權限,以免之後出現權限問題。
$ sudo adduser hadoop sudo
也可以打開sudoers文件,給hadoop用戶賦予和root一樣的權限:
$sudo gedit /etc/sudoers
然後編輯增添如下那句hadoop ALL(ALL:ALL) ALL
1.4. 註銷當前的賬戶,然後登陸剛剛創建的hadoop用戶。
2.
2.1. 安裝ssh
$sudo apt-get installl openssh-server
然後continue YES
2.2. 安裝好ssh服務後,那就打開這個服務吧
$sudo /etc/init.d/ssh start
2.3. 順便查看下服務是否正確啓動:
$ ps -e | grep ssh
2.4.
設置免密碼登錄,生成私鑰和公鑰
$ ssh-keygen -t rsa -P ""
在輸入路徑那兒筆者直接回車,這樣在/home/hadoop/.ssh裏面生成兩個文件 id_rsa、id_rsa.pub,前者是私鑰,後者是公鑰。
2.5. 接着將公鑰追加到authorized_keys裏面,它保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.6. 登陸ssh
$ssh hadoop@localhost
接着輸入yes
2.7. 退出
$exit
3. 安裝java環境
3.1 下載jdk二進制編譯包
下載用wget軟件,wget軟件在ubuntu下的安裝命令如下:
sudo apt-get install wget
用wget下載jdk包的命令格式爲:
wget url鏈接 -o 輸出文件名
例如:
3.2 解壓安裝
3.2.1 複製解壓
先是把壓縮包複製到欲安裝目錄下:
cp jdk-x64.tar.gz /usr/local/
進入上述目錄解壓:
cd /usr/local/
tar xzvf jdk-x64.tar.gz
若權限不足則還需要加上sudo:
sudo cp jdk-x64.tar.gz /usr/local/
cd /usr/local/
sudo tar xzvf jdk-x64.tar.gz
本人下載時的版本是1.8.0_51,故在/usr/local/目錄下解壓生成的jdk目錄是/usr/local/jdk-1.8.0_51
3.2.2 配置路徑安裝
打開配置文件:
sudo vim /etc/profile
添加以下命令語句:
export JAVA_HOME=/usr/local/jdk-1.8.0_51
export PATH = $JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
應用配置:
source /etc/profile
測試成功:
java -version
4. 安裝hadoop
4.1. 解壓:
sudo tar xzf hadoop-2.7.1.tar.gz(一定不要下載rpm的,這個是redhat等系統的軟件安裝包,在ubuntu中是tar.gz這種纔行。)
4.2. copy到/usr/local/中,並命名爲hadoop
sudo mv hadoop-2.7.1 /usr/local/
cd /usr/local
sudo mv hadoop-2.7.1 hadoop
4.3. 修改目錄主人
sudo chown hadoop:hadoop -R -f /usr/local/hadoop/
4.4. 配置
打開配置文件:
sudo vim /etc/profile
添加以下命令語句:
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
5. 測試
進入 hadoop目錄:
cd /usr/local/hadoop
運行官方測試樣例:
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
(默默說句,其實在文章開頭鏈接所指教程中,我弄到一半,然後就出現很多錯誤,比如安裝jdk後還是找不到version、解壓失敗、以及配置環境時候各種出錯。幸虧有進益大神一直指點,然後幫我配環境調bug等等等等。最後終於成功運行了WordCount。現在對WordCount具體代碼實現還是半頭霧水,還在接下日子慢慢揭開hadoop的面紗。)