Linux 環境下運行hadoop 的wordcount 程序

我相信每個人部署完hadoop 環境之後,都想運行一下程序,就比如學習java的時候,配置好環境變量,就想運行一下程序輸出一個hellop word。
wordcount程序,統計文本中的字符出現次數。本次,主要目的是在liunx運行一下wordcount,看看輸出的效果。下一篇會介紹在win系統下鏈接linux hadoop 集羣,運行wordcount,並理解hadoop 的mapreduce組件。
hadoop 集羣搭建請移步:https://mp.csdn.net/mdeditor/84073712
第一步:hdfs系統創建input 目錄。
hadoop fs -mkdir input
第二步:上傳需處理的文件到hadoop的hdfs系統
本地創建 a.txt,b.txt 文件,將文件上傳到hadoop的hdfs系統上。
我的a.txt,和b.txt 反正test目錄下。
hadoop -fs -put test/a.txt input
hadoop -fs -put test/b.txt input

在這裏插入圖片描述
可以看到 a.txt 和 b.txt的內容。

第三步:運行wordcount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar wordcount input output
在這裏插入圖片描述

運行後,會生成output 文件夾,計算結果就放在了 part-r-00000 文件下,結果如下圖。

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章