原创 雜記
windows目錄：C:\windows系統目錄：C:\windows\system32系統變量path代表可執行路徑的搜索路徑，默認爲windos目錄和系統目錄，在此兩個目錄中的文件或文件夾不需要輸入完整路徑即可通過運行打開。java的c
2019-02-22 21:06:49
原创 windows 環境下Eclipse開發MapReduce環境設置
1、Hadoop開發環境簡介1.1 Hadoop集羣簡介Java版本：jdk-6u31-linux-i586.binLinux系統：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows開發簡介Ja
2018-09-12 06:24:13
原创 Hadoop實例練習（二）
實例描述：現有兩個文件，dedu1.txt和dedu2.txt，數據文件中的每一行都是一個數據，現要對這兩個文件進行去重，兩個文件內容分別爲（同顏色的表示重複的數據）： dedu1.txt：
2018-09-12 06:24:13
原创 Hadoop學習之SecondaryNameNode
在啓動Hadoop時，NameNode節點上會默認啓動一個SecondaryNameNode進程，使用JSP命令可以查看到。SecondaryNameNode光從字面上理解，很容易讓人認爲是NameNode的熱備進程。其實不是，Second
2018-09-12 06:24:13
原创 Hadoop實例練習（一）
實現目標：在對文檔進行單詞詞頻計算的同時，對輸出結果按單詞的詞頻進行排序設計思路：用一個並行計算任務顯然是無法同時完成單詞詞頻統計和排序的。爲什麼無法同時完成呢？想一下單詞詞頻統計任務的MapReduce過程：在Map階段，Mapper將作
2018-09-12 06:24:12
原创 Hadoop fs -put：上傳文件至Hdfs總是失敗
背景：Hadoop正常啓動，所有服務：namenode，datanode，jobtracker，tasktracker都正常啓動運行。且執行hadoop其他命令如-ls，-rm，-mkdir等都正常運行。就是執行hadoop fs -put
2018-09-12 06:24:12
7
原创 linux 重定向學習
最近在學《Unix環境高級編程》，發現裏面很多小程序在shell中運行時執行的命令看不太懂，所以複習了下Linux的重定向，這篇是查看了其他人的博客寫的，具體哪篇忘記了。。。作用：引用百度百科上的主要是用來修改默認的一些東西，對原來系統命令
2018-09-12 06:24:12
原创 hadoop重要的端口
Hadoop重要端口介紹：Job Tracker管理界面：50030；HDFS管理界面：50070；HDFS通信端口：9000；MapReduce通信端口：9001常用的訪問界面：HDFS管理界面：http://hostname:50070
2018-09-12 06:24:12
原创 Hadoop的一些常用命令
這篇記錄一下Hadoop的常用命令，學到哪條就記錄哪條hadoop namenode -format：hadoop namenode節點的格式化命令；start-all.sh：啓動所有的Hadoop服務；stop-all.sh：關閉所有的H
2018-09-12 06:24:12
原创 Hadoop學習資料整理
發現一篇好的博客：http://blog.csdn.net/luyee2010/article/category/1311168mapreduce的過程寫的很好：http://blog.csdn.net/luyee2010/article/
2018-09-12 06:24:12
原创 hadoop MapReduce實例解析（wordcount例子）
原文地址：http://blog.csdn.net/liuxiaochen123/article/details/8786715其他好的參考文獻：http://www.ibm.com/developerworks/cn/opensource
2018-09-12 06:24:12
3