在mapreduce中,如果想進入debug模式進行調試,則需要在main函數中去掉下面一行代碼:
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "master:9001");//這行不能要,否則進入集羣模式,不能單步調試,不設置jobtracker默認進入本地模式
在hadoop中設置每個split大小
Job job = new Job(conf, "combine smallfiles map");
job.getConfiguration().setLong("mapreduce.input.fileinputformat.split.maxsize", (long)(113*1024*1024));//split的大小設置爲113M