hadoop(HDFS)安裝教程--簡單易懂

1.準備工作

• 創建一個LInux虛擬機並安裝CentOS6.9的鏡像
• 配置網卡信息
• 安裝JDK1.8
• 在/root目錄下創建兩個文件夾

software  --> hadoop安裝包上傳位置
app       --> hadoop安裝路徑
app/tmp   --> hadoop.tmp.dir 配置目錄

2.開始安裝

獲取hadoop安裝包

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz

官方文檔

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html

• 下載,上傳至虛擬機中的software目錄下
• 解壓到 /root/app目錄下

tar -zxvf /root/software/hadoop-2.6.0-cdh5.15.1.tar.gz -C /root/app/

修改環境變量

• 新建文件hadoop.sh在/etc/profile.d目錄下

touch /etc/profile.d/hadoop.sh

• 編輯文件

vim /etc/profile.d/hadoop.sh

• 添加以下內容

export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.15.1
export PATH=$PATH:$HADOOP_HOME/bin

• 更新profile資源

source /etc/profile

修改配置文件

配置文件放在hadoop安裝目錄下的etc/hadoop目錄下

vim /root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/core-site.xml 

• 將虛擬機ip地址加8020端口放在<configuration> </configuration>中

	<property>
        <name>fs.defaultFS</name>              
        <value>hdfs://192.168.100.214:8020</value>
    </property>

• 效果如下:
  
• 修改hdfs配置文件

vim /root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/hdfs-site.xml

• 將hadoop.tmp.dir配置到/root/app/tem目錄中

		<property>
                <name>hadoop.tmp.dir</name>
                <value>/root/app/tmp</value>
        </property>

• 效果如下

3.格式化HDFS

hdfs namenode -format

• 查看一下/root/app/tmp下的變化

ll /root/app/tmp

4.開啓HDFS

sh /root/app/hadoop-2.6.0-cdh5.15.1/sbin/start-dfs.sh

• 輸入jps 測試一下
  出現這個則是開啓成功!
  

• 瀏覽器輸入ip+端口5007 測試一下

192.168.100.214:50070

出不來,十有八九就是防火牆的問題!

關閉防火牆 並永久關閉(關閉開機自啓)

service iptables stop    -->關閉防火牆
chkconfig iptables off   -->關閉防火牆開機自啓

• 在瀏覽器再輸入ip+端口測試一下