Hadoop(二)：只有開發需求情況，即只在windows開發代碼，無需創建集羣環境等

Hadoop(二)：只有開發需求情況，即只在windows配置開發環境

如果你只是想開發代碼，而不需要hadoop集羣，那麼就可以僅在windows環境下安裝hadoop

準備

• windows編譯後的hadoop包，下面提供了windows10編譯後的

  鏈接: https://pan.baidu.com/s/189OTTMOZ8IZLXC3SsWr3TA 提取碼: gxsn

• 配置好java

  這一點就不用多說了，打開cmd輸入java -version看看是否配好了java環境變量

• 開發java代碼的IDE

  可以用IDEA;Eclipse

配置環境變量

1. 配置java環境變量

   這個不用多說了，但是還是要確認一下自己是否配好了，去cmd確認一下

   java -vesion
   

2. 配置hadoop環境變量

將剛下載的hadoop編譯後的包解壓，解壓到沒有英文目錄的路徑，然後打開環境變量配置。

在系統變量中添加HADOOP_HOME

在Path中加入

%HADOOP_HOME%\bin

然後確認關閉，打開cmd確認一下

創建工程

配置Maven，如果使用的IDEA就可以忽略了。

新建Maven項目，在pom添加如下（其中hadoop版本要跟你下載的一致，我這裏是2.7.2）

<dependencies>
	<!-- 配置hadoop的日誌 -->
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>
    
	<!-- 配置hadoop相應jar包 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.2</version>
    </dependency>
</dependencies>

測試程序

下面程序是修改了源碼中的example

package officialWordCount;

import java.io.PrintStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Mapper.Context;

public class WordCount {

    public static void main(String[] args)
            throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        //將下面的兩個位置改爲你自己的文件夾位置。
        FileInputFormat.addInputPath(job, new Path("C:\\Users\\Ace\\Desktop\\hadoop\\input\\wordcount"));
        FileOutputFormat.setOutputPath(job, new Path("C:\\Users\\Ace\\Desktop\\hadoop\\output\\wordcount"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}


class TokenizerMapper
        extends Mapper<Object, Text, Text, IntWritable> {
    private final IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context)
            throws IOException, InterruptedException {
        StringTokenizer itr = new StringTokenizer(value.toString());
        while (itr.hasMoreTokens()) {
            this.word.set(itr.nextToken());
            context.write(this.word, one);
        }
    }
}

class IntSumReducer
        extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context)
            throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        this.result.set(sum);
        context.write(key, this.result);
    }
}

然後運行看看是否有結果。

如果出現

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

類似問題那麼是因爲，hadoop編譯後的包與你的機器不匹配，你可以選擇重新編譯，或者新建一個類覆蓋：解決鏈接如下：

https://blog.csdn.net/u011463794/article/details/105910685