hadoop 集羣搭建與mapreduce開發實戰(二)

hadoop eclipse 插件安裝與運行mapreduce程序

插件下載:

鏈接:http://pan.baidu.com/s/1pLwK6IB 密碼:p29q

一:插件安裝

下載插件並放到eclipse的plugins目錄,並重新啓動eclipse。

重啓eclipse:

配置hadoop連接:

windows->OpenPespective

第一個端口默認50020,第二個8020 是根據core-site.xml中的配置來的:

這個端口如果沒有配置正確,在插件中會提示連接不上。

連接上之後的效果如下:

到此,算是配置好插件與hadoop連接,可以顯示並上傳文件到hadoop上。接下來,將編寫mapreduce程序,在hadoop行運行。

二:開發實戰

創建一個mvn項目,調試wordcount程序。

eclipse的調試配置如下:

當時還是會報錯,遠程調試,還是沒有配好:

沒辦法,只能先打成jar包,拷貝到hadoop的master上,通過命令執行。

執行命令如下:

hadoop jar /root/HadoopTest/hadooptest-1.0.jar com.hadoop.maxtemperature.MaxTemperature /data/temperature /output/temperature

參數解析:
命令 : hadoop
參數1: jar // 執行的文件類型
參數2: /root/HadoopTest/hadooptest-1.0.jar // 待執行文件位置
參數3: com.hadoop.maxtemperature.MaxTemperature // main函數所在類的類名稱,注意寫完整包路徑
參數4: /data/temperature // 輸入參數的目錄,執行該目錄下的所有文件
參數5: /output/temperature // 輸出文件的目錄

 

 

hadoop 常用命令:

1.查看目錄

hadoop fs -ls /

 

2. 查看文件

hadoop fs -text /data/a

3.刪除文件

hadoop fs -rm /data/a

4.刪除目錄 

hadoop fs -rm -r /data/wordcount

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章