Hadoop2.9.2+hive2.3.4 windows下安裝

參考文章

https://blog.csdn.net/csdn_fzs/article/details/78985586

http://www.cnblogs.com/yifengjianbai/p/8260064.html

準備文件

apache-hive-2.3.4-bin.tar.gz

hadoop-2.9.2.tar.gz

自行官網下載

其他人共享的hadoop和hive在windows下的執行文件

wintuils_hadoop.dll.zip

hive在windows安裝bin.zip

下載地址:https://download.csdn.net/download/a1041646584/11011656

環境說明:jdk1.8安裝目錄最好不要在C盤默認目錄 因爲有空格 程序不識別 

(配置時-如果路徑中有“Program Files”,則將Program Files改爲 PROGRA~1)

全部解壓後

1、hadoop安裝

1.1配置Java環境變量
新建變量名:JAVA_HOME
輸入路徑:D:\Softwares\jdk1.8 (這裏是以我的jdk地址爲例,請根據自己的jdk地址來設置)
在path中最前面加上:%JAVA_HOME%\bin;


1.2配置Hadoop環境變量
新建變量名:HADOOP_HOME
輸入路徑:E:\hadoop-2.9.2
在path中最前面加上:%HADOOP_HOME%\bin; 

1.3將 wintuils_hadoop.dll.zip裏的bin(有說明文檔)覆蓋替換到 hadoop-2.9.2.tar.gz 的bin下

1.4在hadoop-2.7.3\etc\hadoop找到hadoop-env.cmd
右鍵用一個文本編輯器打開
找到 set JAVA_HOME=%JAVA_HOME% 
將%JAVA_HOME%改成C:\PROGRA~1\Java\jdk1.7.0_67 或 D:\Softwares\jdk1.8(在環境變量設置中JAVA_HOME的值)
(如果路徑中有“Program Files”,則將Program Files改爲 PROGRA~1 )

不改也行 不報 %JAVA_HOME% 的錯誤可以不該

1.5win+R 輸入cmd打開命令提示符,然後輸入hadoop version,按回車,如果出現 hadoop2.9.2.......等說成功

1.6hadoop核心配置文件
在hadoop-2.9.2\etc\hadoop中找到以下幾個文件
打開 hadoop-2.9.2/etc/hadoop/core-site.xml, 複製下面內容粘貼到最後並保存
<configuration>
<property>       
<name>fs.defaultFS</name>       
<value>hdfs://localhost:9000</value>   
</property>
</configuration>
打開 hadoop-2.9.2/etc/hadoop/mapred-site.xml, 複製下面內容粘貼到最後並保存
<configuration>   
<property>       
<name>mapreduce.framework.name</name>       
<value>yarn</value>   
</property>
</configuration>
打開 hadoop-2.9.2/etc/hadoop/hdfs-site.xml, 複製下面內容粘貼到最後並保存, 請注意需要建立data 文件夾和兩個子文件夾,本例子是建立在 HADOOP_HOME的目錄裏(注意每個人的hadoop的路徑不一樣,這裏要做修改)
<configuration>
<property>       
<name>dfs.replication</name>       
<value>1</value>   
</property>   
<property>       
<name>dfs.namenode.name.dir</name>       
<value>/E:/hadoop-2.7.3/data/namenode</value>   
</property>   
<property>       
<name>dfs.datanode.data.dir</name>     
<value>/E:/hadoop-2.7.3/data/datanode</value>   
</property>
</configuration>
打開 hadoop-2.7.3/etc/hadoop/yarn-site.xml,複製下面內容粘貼到最後並保存
<configuration>   
<property>       
<name>yarn.nodemanager.aux-services</name>       
<value>mapreduce_shuffle</value>   
</property>   
<property>       
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
<value>org.apache.hadoop.mapred.ShuffleHandler</value>   
</property>
</configuration> 

1.7

管理員身份打開命令提示符

輸入hdfs namenode -format執行  不識別hdfs的話 cd到hadoop/sbin下執行

namenode文件裏會自動生成一個current文件,則格式化成功

無報錯說明成功 

1、已知報錯 %JAVA_HOME% 配置問題

       如果路徑中有“Program Files”,則將Program Files改爲 PROGRA~1 

1.8輸入start-all.cmd,啓動hadoop服務

會出現四個窗口  無報錯就成功

已知報錯:

1.9輸入jps 查看運行的服務

jps不識別 就cd到java安裝目錄bin下 輸入

出現DataNode、ResourceManager、nodeManager、jps的進程說明成功

2hiv安裝

2.1將hive在windows安裝bin.zip裏的bin文件替換覆蓋到 hive/bin下

然後參考下面文檔即可安裝成功 注意配置文件

 參考:http://www.cnblogs.com/yifengjianbai/p/8260064.html  

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章