1、下載安裝eclipse並創建桌面快捷方式
2、ant環境配置
apache-ant-1.9.4-bin.zip解壓到/usr/local/目錄下,
配置環境變量ANT_HOME,並將bin目錄配置到path
下載地址:http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.4-bin.zip
3、下載hadoop-eclipse-plugin插件
hadoop-eclipse-plugin是一個專門用於eclipse的hadoop插件,可以直接在IDE環境中查看hdfs的目錄和文件內容。其源代碼託管於github上,官網地址是https://github.com/winghc/hadoop2x-eclipse-plugin
但如果只是使用https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release 這裏已經提供了各種編譯好的版本,直接用就行。目前只有2.2.0/ 2.4.1/ 2.6.0 三個版本。
自己編譯hadoop-eclipse-plugin插件2.5.2版本
1、修改編譯包及依賴包版本信息
修改 "/usr/local/hadoop2x-eclipse-plugin-master/ivy/libraries.properties"
hadoop.version=2.5.2
jackson.version=1.9.13
hadoop2.5.2編譯eclipse plugin的時候,build.xml中這一行要註釋掉:
<copyfile="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar"todir="${build.dir}/lib" verbose="true"/>
這一行是2.6版的。
2、ant編譯
Cd /usr/local/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin
ant jar-Dversion=2.5.2 -Declipse.home= /usr/local/eclipse/eclipse -Dhadoop.home= /home/hadoop/download/hadoop-2.5.2/
3、編譯好後hadoop-eclipse-plugin-2.5.2.jar會在/usr/local/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/目錄下
eclipse環境配置
1.將編譯好的hadoop-eclipse-plugin-2.5.2.jar拷貝至eclipse的plugins目錄下,然後重啓eclipse
2.打開菜單Window--Preference--HadoopMap/Reduce進行配置,如下圖所示:
注意:不過若要調試HADOOP程序,還需要配置參數,指定Hadoop的軟件安裝路徑,注意本步只是要指定Hadoop軟件的路徑,並不是要配置HADOOP環境,只需要下載(或複製)一份hadoop文件即可
3.顯示Hadoop連接配置窗口:Window--ShowView--Other-MapReduce Tools,如下圖所示:
4.配置連接Hadoop,如下圖所示:
Location name:爲配置的路徑指定一個名稱,名稱可以自定義。
Map/Reduce Master:根據hadoop環境中namenode節點conf/mapred-site.xml文件中的配置而定,指定爲mapred.job.tracker參數的值;
DFS Master:根據hadoop環境中namenode節點conf/core-site.xml文件中的配置而定,指定爲fs.default.name的值;
User name:指定操作用戶,一般默認此處顯示爲操作系統用戶名;
5.查看是否連接成功,能看到如下信息,則表示連接成功: