嘗試參加阿里雲 天池 大賽 (看看odps到底封裝的多好)1,本地跑通了。2、把mr程序上傳到御膳房

額,聽說odps是封裝hadoop上的二次開發。。。

試試


download下來項目到eclipse 裏 出現的第一個錯誤是: 錯誤: 找不到或無法加載主類 my.group.mapreduce.JobLauncher

這個比較簡單,因爲自己手賤點了maven clean  然後 要重新install 一下對應的包


然後本地運行第一個jobluncher的時候,出現start combine  額,然後就卡住了,這個時候把 配置文件裏的 base.mapred.xml 的combine 內容刪掉或者節點註釋掉


然後又有問題 ODPS-0720503:Unexpected intermediate output in mapper, it is only allowed in mapreduce (reduce num > 0) jobs

at my.group.mapreduce.MyMapper.map(MyMapper.java:24)


這個讓我非常的無解啊啊

後來師弟說是把main函數裏的時間改一下,改成2015XXXX就可以了。。

試了一下,終於跑通了。。。


仔細看了一下,和之前自己配的hadoop環境和格式真的好像啊。。。


運行好了mapreduce (mr)程序後,就可以嘗試上傳到阿里雲的御膳房(odps)平臺看看了。

也很簡單  按照:提交程序 的步驟就可以了

http://www.yushanfang.com/portal/help/doc.html?spm=0.0.0.0.33VYdM&file=MrUdfLocalDev


但是這裏要注意下,所有的配置都不要改動。官方文檔上的。

注意自己的 base.mapred.xml 文件裏的 

<baseId>cccccc</baseId>
    <projectId>ccccc</projectId>
    <resourceName>cccccccc</resourceName>
    <idePath>工作流/mapreducetest</idePath>


都配置正確了沒有,而且 最後的ide路徑已經在瀏覽器中已經創建

table 標籤裏的 inputtable 和 outputtable 還上想要統籌的表名


還有個問題,maven 是要安裝的。。。 不是eclipse裏的插件,是另外要在apache或者其他地方下載的軟件

然後還要配置環境變量。。。版本似乎在這裏不受控制。。。

都配置好了後,然後把eclipse的插件 installation 裏的路徑指向安裝路徑


然後修改安裝路徑下的conf 文件夾下的 setting.xml文件

把官方文檔的xml 原封不動的拷貝上去就可以了。

然後把整個setting 文件拷貝到 C:\Users\Administrator\.m2 裏頭


然後上傳的按鈕怎麼操作就可以和官網一樣設置就好了。。。

還有那四個輔助參數不能輸入錯誤,連空格都不能多出,否則編譯程序會報錯的。。。


引導就這樣,over了~~

Ps:上傳上的mr程序是肯定不能運行的,雖然本地可以。。。但是輸入輸出都不一樣啊啊啊啊嗄。所以,趕緊寫新的mr程序吧。。。






發佈了73 篇原創文章 · 獲贊 1 · 訪問量 7萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章