Map/Reduce實現簡單的單詞計數

                                                                                        作業報告

                                                                              （ 2019學年春季學期 ）

課程名稱	大數據與深度學習
作業名稱	大數據單詞計數

組長	LFY	學號	2016
組員		學號
組員		學號
組員		學號
組員		學號

專業

教師

 

1、問題描述

利用本機模擬的分佈式系統，利用map/reduce編寫程序統計擬大數據文本中單詞出現的次數。

2、實現描述

按照老師提醒的思路，在map階段對每個鍵值key的單詞都寫出一個1，默認的分組函數會吧key相同的單詞分到同一個 reduce進行處理，到reduce階段把對應該key單詞的1，統計出多少個1就能實現統計出多少個對應key這個單詞出現的次數。

3、運行效果

1. 輸入文本

1. 輸出文本

1. 輸出日誌

4、源碼

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
 
public class wordCount {

	public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

		private final static IntWritable one = new IntWritable(1);
		private Text word = new Text();

		public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
			StringTokenizer itr = new StringTokenizer(value.toString());
			while (itr.hasMoreTokens()) {
				word.set(itr.nextToken());
				context.write(word, one);
			}
		}
	}

	public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
		private IntWritable result = new IntWritable();

		public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException{
			int sum = 0;
			for (IntWritable val : values) {
				sum += val.get();
			}
			result.set(sum);
			context.write(key, result);
		}
	}

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		if (otherArgs.length != 2) {
			System.err.println("Usage: word count <in> <out>");
			System.exit(2);
		}
		Job job = new Job(conf, "wordCount");
		job.setJarByClass(wordCount.class);
		job.setMapperClass(TokenizerMapper.class);
		job.setCombinerClass(IntSumReducer.class);
		job.setReducerClass(IntSumReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}
}

5、總結

通過此次初步編寫，初步接觸了map/reduce的基礎編程，發現了他們兩個函數提供的4個參數接口是實現程序的關鍵，通過調試並且最終實現了擬大數據的單詞統計計數操作。