額,聽說odps是封裝hadoop上的二次開發。。。
試試
download下來項目到eclipse 裏 出現的第一個錯誤是: 錯誤: 找不到或無法加載主類 my.group.mapreduce.JobLauncher
這個比較簡單,因爲自己手賤點了maven clean 然後 要重新install 一下對應的包
然後本地運行第一個jobluncher的時候,出現start combine 額,然後就卡住了,這個時候把 配置文件裏的 base.mapred.xml 的combine 內容刪掉或者節點註釋掉
然後又有問題 ODPS-0720503:Unexpected intermediate output in mapper, it is only allowed in mapreduce (reduce num > 0) jobs
at my.group.mapreduce.MyMapper.map(MyMapper.java:24)
這個讓我非常的無解啊啊
後來師弟說是把main函數裏的時間改一下,改成2015XXXX就可以了。。
試了一下,終於跑通了。。。
仔細看了一下,和之前自己配的hadoop環境和格式真的好像啊。。。
運行好了mapreduce (mr)程序後,就可以嘗試上傳到阿里雲的御膳房(odps)平臺看看了。
也很簡單 按照:提交程序 的步驟就可以了
http://www.yushanfang.com/portal/help/doc.html?spm=0.0.0.0.33VYdM&file=MrUdfLocalDev
但是這裏要注意下,所有的配置都不要改動。官方文檔上的。
注意自己的 base.mapred.xml 文件裏的
<baseId>cccccc</baseId>
<projectId>ccccc</projectId>
<resourceName>cccccccc</resourceName>
<idePath>工作流/mapreducetest</idePath>
都配置正確了沒有,而且 最後的ide路徑已經在瀏覽器中已經創建
table 標籤裏的 inputtable 和 outputtable 還上想要統籌的表名
還有個問題,maven 是要安裝的。。。 不是eclipse裏的插件,是另外要在apache或者其他地方下載的軟件
然後還要配置環境變量。。。版本似乎在這裏不受控制。。。
都配置好了後,然後把eclipse的插件 installation 裏的路徑指向安裝路徑
然後修改安裝路徑下的conf 文件夾下的 setting.xml文件
把官方文檔的xml 原封不動的拷貝上去就可以了。
然後把整個setting 文件拷貝到 C:\Users\Administrator\.m2 裏頭
然後上傳的按鈕怎麼操作就可以和官網一樣設置就好了。。。
還有那四個輔助參數不能輸入錯誤,連空格都不能多出,否則編譯程序會報錯的。。。
引導就這樣,over了~~
Ps:上傳上的mr程序是肯定不能運行的,雖然本地可以。。。但是輸入輸出都不一樣啊啊啊啊嗄。所以,趕緊寫新的mr程序吧。。。