Mapreduce之間的參數傳遞

對於複雜的數據可以考慮把數據保存的公共的結點,然後在map'的setup方法中去讀取這個文件,從而獲得共享的數據,而對於簡單的數據可以用conf進行傳遞。


在驅動函數裏面
Configuration conf2=getConf();
conf2.set("temp", String.valueOf(123));
Job job2 = new Job(conf2, "Idf");//特別要注意的就是這條語句和上面一行絕不能顛倒

在Mapper裏面:
String s=context.getConfiguration().get("temp");//注意,conf的獲取是從context中獲取,而不是重新new一個。
這樣便可以再map或者reduce裏獲得temp參數,可以是不同數據類型。
發佈了43 篇原創文章 · 獲贊 6 · 訪問量 5萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章