Hadoop詞頻統計:在集羣文件系統裏創建文件夾 上傳要分析的文件到目錄中 分析上傳文件 展示結果

2.1 問題

本案例要求:

  • 在集羣文件系統裏創建文件夾
  • 上傳要分析的文件到目錄中
  • 分析上傳文件
  • 展示結果

2.2 步驟

實現此案例需要按照如下步驟進行。

步驟一:詞頻統計


 
  1. [root@nn01 hadoop]# ./bin/hadoop fs -ls /        //查看集羣文件系統的根,沒有內容
    [root@nn01 hadoop]# ./bin/hadoop fs -mkdir /aaa        
    //在集羣文件系統下創建aaa目錄
    [root@nn01 hadoop]# ./bin/hadoop fs -ls /        //再次查看,有剛創建的aaa目錄
    Found 1 items
    drwxr-xr-x - root supergroup 0 2018-09-10 09:56 /aaa
    [root@nn01 hadoop]# ./bin/hadoop fs -touchz /fa    //在集羣文件系統下創建fa文件
    [root@nn01 hadoop]# ./bin/hadoop fs -put *.txt /aaa     
    //上傳*.txt到集羣文件系統下的aaa目錄
    [root@nn01 hadoop]# ./bin/hadoop fs -ls /aaa //查看
    Found 3 items
    -rw-r--r-- 2 root supergroup 86424 2018-09-10 09:58 /aaa/LICENSE.txt
    -rw-r--r-- 2 root supergroup 14978 2018-09-10 09:58 /aaa/NOTICE.txt
    -rw-r--r-- 2 root supergroup 1366 2018-09-10 09:58 /aaa/README.txt
    [root@nn01 hadoop]# ./bin/hadoop fs -get /aaa //下載集羣文件系統的aaa目錄
    [root@nn01 hadoop]# ./bin/hadoop jar \
    share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /aaa /bbb    //hadoop集羣分析大數據,hadoop集羣/aaa裏的數據存到hadoop集羣/bbb下
    [root@nn01 hadoop]# ./bin/hadoop fs -cat /bbb/*        //查看集羣裏的數據

     

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章