hadoop僞分佈式安裝

一、僞分佈式的安裝
①　上傳hadoop安裝包 -->上傳至/soft //上傳到linux中
②　解壓hadoop

        tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local

③　配置hadoop
配置HADOOP_HOME

 vim /etc/profle

 #set java jdk setup
export JAVA_HOME=/usr/local/jdk1.7.0_65
export HADOOP_HOME=/usr/local/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改hadoop配置 cd /usr/local/hadoop-2.4.1/etc/hadoop

a. 修改hadoop-env.sh，配置JAVA_HOME

vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0_65

b. 修改core-site.xml配置文件,該文件配置NameNode的主機名和端口號。

<configuration>
                <!--指定hdfs的端口號與hdfs訪問的名稱-->
                <property>
                                <name>fs.defaultFS</name>
                                <value>hdfs://hadoop001:9000</value>  <!-- 默認爲80020 -->
                </property>
                <!--hdfs的數據的緩存目錄-->
                <property>
                                <name>hadoop.tmp.dir</name>
                                <value>/home/hadoop/tmp</value>
                </property>
</configuration>

c. 修改hdfs-site.xml，在該文件內配置分佈式文件系統的副本數量，本測試是僞分佈式，所以副本數爲1。replication副本

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
      </property>
</configuration>

d. 修改mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

e. 修改yarn-site.xml文件

<configuration>
                <!-resourcemanager：資源管理器主機名-->
                <property>
                                <name>yarn.resourcemanager.hostname</name>
                                <value>hadoop001</value>
                </property>
                 <property>
                                <name>yarn.nodemanager.aux-services</name>
                                <value>mapreduce_shuffle</value>
                    </property>
</configuration>

NM上還可以擴展自己的服務，yarn提供了一個yarn.nodemanager.aux-services的配置項，通過該配置，用戶可以自定義一些服務，例如Map-Reduce的shuffle功能就是採用這種方式實現的。

④　hadoop的啓動

a) 格式化NameNode，只需要在第一次啓動的時候格式化

    hadoop namenode -format

b) 啓動hadoop

            cd /usr/local/hadoop-2.4.1/sbin
            ./start-all.sh
            或者
            ./start-hdfs.sh     啓動hdfs
            ./start-yarn.sh     啓動yarn

c) 查看啓動效果

    jps
    5066 NameNode               名稱節點
    19031 QuorumPeerMain        zookeeper進程
    5588 NodeManager            節點管理器 NM
    5287 SecondaryNameNode      輔助名稱節點
    5159 DataNode               數據節點
    5491 ResourceManager        資源管理器RM

⑤　hadoop可執行文件的意義 hadoop/bin

文件名 說明

hadoop  用於執行hadoop腳本命令，可以單獨執行，一切命令的核心
hadoop-deamon.sh    通過執行hadoop命令來啓動/停止一個守護進程(deamon)該命令會被sbin目錄下面所有以start或stop的所的命令調用來執行命令hadoop-daemon.sh本身就是通過調用hadoop命令來執行任務
例如:hadoop-deamon.sh
start.all.sh    全部啓動，它會調用start-dfs.sh及start-yarn.sh
start-hdfs.sh   啓動hdfs 包括 
NameNode  DataNode  SecondaryNameNode 
start-yarn.sh   啓動yarn   ResourceManager NodeManager