在hadoop中如何進入本地調試、及如何設置split的大小

在mapreduce中,如果想進入debug模式進行調試,則需要在main函數中去掉下面一行代碼:

Configuration conf = new Configuration();

conf.set("mapred.job.tracker", "master:9001");//這行不能要,否則進入集羣模式,不能單步調試,不設置jobtracker默認進入本地模式

 

在hadoop中設置每個split大小

Job job = new Job(conf, "combine smallfiles map");

job.getConfiguration().setLong("mapreduce.input.fileinputformat.split.maxsize", (long)(113*1024*1024));//split的大小設置爲113M

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章