Ubuntu15 中安裝hadoop2.7單機模式 (圖文詳細步驟)


Ubuntu15 中安裝hadoop2.7單機模式 (圖文詳細步驟)



材料:
            ubuntu 15.04
          jdk 1.8.51(在ubuntu終端下載,下面詳細解析)
          hadoop 2.7.1(是ubuntu終端下載,下面將詳細解析)

安裝:
       
    1. 在ubuntu中創建hadoop用戶
            1.1. ctrl+Alt+T打開終端窗口,然後輸入如下命令創建新用戶。
                    $ sudo useradd -m hadoop -s -/bin/bash
            1.2. 使用下面命令修改密碼(筆者密碼爲hadoop)
                    $ sudo passwd hadoop
            1.3. 接着爲hadoop增加管理員的權限,以免之後出現權限問題。
                    $ sudo adduser hadoop sudo
                    也可以打開sudoers文件,給hadoop用戶賦予和root一樣的權限:
                        $sudo gedit /etc/sudoers
                        然後編輯增添如下那句hadoop       ALL(ALL:ALL)  ALL


                            



            1.4. 註銷當前的賬戶,然後登陸剛剛創建的hadoop用戶。
    
    2. 
            2.1. 安裝ssh
                $sudo apt-get installl openssh-server
                然後continue YES
                   
                        


            2.2. 安裝好ssh服務後,那就打開這個服務吧
                $sudo /etc/init.d/ssh start
                    

           2.3. 順便查看下服務是否正確啓動: 
               $ ps -e | grep ssh
         

            2.4. 設置免密碼登錄,生成私鑰和公鑰

                $ ssh-keygen -t rsa -P ""

                在輸入路徑那兒筆者直接回車,這樣在/home/hadoop/.ssh裏面生成兩個文件 id_rsa、id_rsa.pub,前者是私鑰,後者是公鑰。


            2.5. 接着將公鑰追加到authorized_keys裏面,它保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。

                $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

                

            2.6. 登陸ssh
                $ssh hadoop@localhost
                接着輸入yes

              

            2.7. 退出
                $exit

    3. 安裝java環境
        3.1 下載jdk二進制編譯包
        下載用wget軟件,wget軟件在ubuntu下的安裝命令如下:
            sudo apt-get install wget
        
        用wget下載jdk包的命令格式爲:
                wget url鏈接 -o 輸出文件名
           例如:
            
        3.2 解壓安裝
             3.2.1 複製解壓
              先是把壓縮包複製到欲安裝目錄下:
                cp jdk-x64.tar.gz /usr/local/
               進入上述目錄解壓:
                cd /usr/local/
                tar xzvf jdk-x64.tar.gz
                若權限不足則還需要加上sudo:
                sudo cp jdk-x64.tar.gz /usr/local/
                cd /usr/local/
                sudo tar xzvf jdk-x64.tar.gz
                
                本人下載時的版本是1.8.0_51,故在/usr/local/目錄下解壓生成的jdk目錄是/usr/local/jdk-1.8.0_51
            3.2.2 配置路徑安裝
                打開配置文件:
                    sudo vim /etc/profile
                添加以下命令語句:
                    export JAVA_HOME=/usr/local/jdk-1.8.0_51
                    export PATH = $JAVA_HOME/bin:$PATH
                    export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
                應用配置:
                    source /etc/profile
                測試成功:
                    java -version

    
    4. 安裝hadoop
        4.1. 解壓:
            sudo tar xzf hadoop-2.7.1.tar.gz(一定不要下載rpm的,這個是redhat等系統的軟件安裝包,在ubuntu中是tar.gz這種纔行。)
        4.2. copy到/usr/local/中,並命名爲hadoop 
              sudo mv hadoop-2.7.1 /usr/local/
              cd /usr/local
              sudo mv hadoop-2.7.1 hadoop

        
       4.3. 修改目錄主人
             sudo chown hadoop:hadoop -R -f /usr/local/hadoop/ 
    
        4.4. 配置
              打開配置文件:
                sudo vim /etc/profile
               添加以下命令語句:
                

                    export HADOOP_INSTALL=/usr/local/hadoop

                    export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

                    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

                    export HADOOP_COMMON_HOME=$HADOOP_INSTALL

                    export HADOOP_HDFS_HOME=$HADOOP_INSTALL

                    export YARN_HOME=$HADOOP_INSTALL

               export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

                    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

   

5. 測試

    進入 hadoop目錄:

        cd /usr/local/hadoop

    運行官方測試樣例:

            bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output


(默默說句,其實在文章開頭鏈接所指教程中,我弄到一半,然後就出現很多錯誤,比如安裝jdk後還是找不到version、解壓失敗、以及配置環境時候各種出錯。幸虧有進益大神一直指點,然後幫我配環境調bug等等等等。最後終於成功運行了WordCount。現在對WordCount具體代碼實現還是半頭霧水,還在接下日子慢慢揭開hadoop的面紗。






發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章