hadoop上eclipse開發環境搭建

hadoop上eclipse開發環境搭建

1、下載安裝eclipse並創建桌面快捷方式

2、ant環境配置

apache-ant-1.9.4-bin.zip解壓到/usr/local/目錄下,

配置環境變量ANT_HOME,並將bin目錄配置到path

下載地址:http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.4-bin.zip

3、下載hadoop-eclipse-plugin插件

hadoop-eclipse-plugin是一個專門用於eclipse的hadoop插件,可以直接在IDE環境中查看hdfs的目錄和文件內容。其源代碼託管於github上,官網地址是https://github.com/winghc/hadoop2x-eclipse-plugin

但如果只是使用https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release 這裏已經提供了各種編譯好的版本,直接用就行。目前只有2.2.0/ 2.4.1/ 2.6.0 三個版本。

自己編譯hadoop-eclipse-plugin插件2.5.2版本

1、修改編譯包及依賴包版本信息

修改 "/usr/local/hadoop2x-eclipse-plugin-master/ivy/libraries.properties"

hadoop.version=2.5.2

jackson.version=1.9.13

 

hadoop2.5.2編譯eclipse plugin的時候,build.xml中這一行要註釋掉:

<copyfile="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar"todir="${build.dir}/lib" verbose="true"/>

這一行是2.6版的。

2、ant編譯

Cd /usr/local/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin

ant jar-Dversion=2.5.2 -Declipse.home= /usr/local/eclipse/eclipse -Dhadoop.home= /home/hadoop/download/hadoop-2.5.2/

 

3、編譯好後hadoop-eclipse-plugin-2.5.2.jar會在/usr/local/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/目錄下

 

eclipse環境配置

1.將編譯好的hadoop-eclipse-plugin-2.5.2.jar拷貝至eclipse的plugins目錄下,然後重啓eclipse

2.打開菜單Window--Preference--HadoopMap/Reduce進行配置,如下圖所示:

注意:不過若要調試HADOOP程序,還需要配置參數,指定Hadoop的軟件安裝路徑,注意本步只是要指定Hadoop軟件的路徑,並不是要配置HADOOP環境,只需要下載(或複製)一份hadoop文件即可

3.顯示Hadoop連接配置窗口:Window--ShowView--Other-MapReduce Tools,如下圖所示:

4.配置連接Hadoop,如下圖所示:

Location name:爲配置的路徑指定一個名稱,名稱可以自定義。

Map/Reduce Master:根據hadoop環境中namenode節點conf/mapred-site.xml文件中的配置而定,指定爲mapred.job.tracker參數的值;

DFS Master:根據hadoop環境中namenode節點conf/core-site.xml文件中的配置而定,指定爲fs.default.name的值;

 

User name:指定操作用戶,一般默認此處顯示爲操作系統用戶名;

5.查看是否連接成功,能看到如下信息,則表示連接成功:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章