Hadoop2.7.1——NFS部署

Hadoop2.7.1——NFS部署

第一步：關閉本機的NFS與RPCBIND服務（centos6），若是CentOS5（關閉NFS與portmap服務）

命令：(centos 6)

Ø  service nfs stop

Ø  service rpcbind stop

命令：(centos 5)

Ø  service nfs stop

Ø  service portmap stop

第二步：修改core-site.xml與hdfs-site.xml

在core-site.xml添加

<property>

       <name>hadoop.proxyuser.root.groups</name>

       <value>*</value>

       <description>允許所有用戶組用戶代理</description>

  </property>

  <property>

      <name>hadoop.proxyuser.root.hosts</name>

      <value>localhost</value>

      <description>允許掛載的主機域名</description>

  </property>

說明：name標籤中的root是用戶名稱，這是表示可以超級用戶訪問。*表示所有的用戶組，有時還需要創建超級用戶組，否則會用警告提示。

命令：groupadd supergroup

在hdfs-site.xml中增加如下操作

<property>

                   <name>nfs.dump.dir</name>

                   <value>/tmp/.hdfs-nfs</value>

         </property>

        

         <property>

                   <name>nfs.rtmax</name>

                   <value>1048576</value>

                   <description>Thisis the maximum size in bytes of a READ request supported by the NFS gateway. Ifyou change this, make sure you also update the nfs mount's rsize(add rsize= #of bytes to the mount directive).</description>

         </property>

        

         <property>

                   <name>nfs.wtmax</name>

                   <value>65536</value>

                   <description>Thisis the maximum size in bytes of a WRITE request supported by the NFS gateway.If you change this, make sure you also update the nfs mount's wsize(add wsize=# of bytes to the mount directive).</description>

         </property>

        

         <property>

                   <name>nfs.exports.allowed.hosts</name>

                   <value>*rw</value>

                   <description>允許所有主機對文件有rw權限</description>

         </property>

第三步：啓動相關操作

前提：在配置了環境變量下，（沒有配置環境變量，進入Hadoop主目錄/bin下啓動），Hadoop可以已格式化後正常啓動。

若在啓動時想看到相關的啓動詳細信息，在hadoop主目錄/etc/Hadoop/log4j.property中添加如下信息：

log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG

log4j.logger.org.apache.hadoop.oncrpc=DEBUG

 

啓動順序如下：

Ø  啓動Hadoop：start-all.sh

Ø  啓動portmap:     hdfs portmap &

Ø  啓動nfs3:         hdfs nfs3 &

第四步：查看相關信息和加載目錄

Ø  查看是否啓動成功 ： showmount  -e  ip或localhost

顯示以上信息說明啓動成功了。

Ø  rpcinfo -p ip或localhost

Ø  加載命令：mkdir -p/mnt/hdfs

mount -t nfs -o vers=3,proto=tcp,nolocklocalhost:/ /mnt/hdfs

將hadoop根目錄加載到/mnt/hdfs中

第五步：測試

1、往hdfs上覆制文件：

[root@ hanyan ~] # time cp jdk.tar.gz /mnt/hdfs/

 從上面的測試來看，在目前這個環境中：上傳速度約爲：20m/s

 

 2、從hdfs上覆制文件到本地目錄：

[root@ hanyan ~] # time cp /mnt/hdfs/test.txt /home/hanyan

從上面的測試來看，在目前這個環境中：下載速度約爲：30m/s，當下載的文件在hdfs的緩存中時，下載速度非常快。