原创 hadoop的源起與體系介紹
1.Hadoop的源起——Lucene項目 Hadoop 是由Doug Cutting用java語言書寫的開源軟件，其實現與Google類似的全文搜索功能，它提供了兩種全文檢索引擎的架構，包括完整的查詢引擎和索引引擎。 Hado
2019-02-22 16:16:23
原创 分佈式文件系統HDFS常用操作與設計原理
1.HDFS常用操作HDFS文件操作有2種方式：命令行方式和API方式我們以Hadoop自帶的wordcout實例來演示HDFS分佈式文件系統的命令行方式常用操作。[liuqingjie@master ~]$ mkdir input[liu
2019-02-22 16:16:22
原创 Java實現二分查找
二分法查找 1.二分法查找是建立在已經排序的基礎之上的。 2.以下程序分析從小到大排序。 3.這個數組中沒有重複的元素. 1 3 5 9 11 13 56 以上是一個已經排好序的int類型的數組,要求快速找出13這個元
2019-02-22 16:16:19
原创 MapReduce編程實戰1——WorldCout程序編寫
//mapreduce程序 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration
2018-09-11 03:32:13
1
原创 linux上安裝eclipse並配置mapreduce程序開發環境
我們打算在linux（centos）上安裝eclipse，並配置好mapreduce程序開發環境。第一步：下載並安裝eclipse（前提是已經安裝好JDK）在linux系統中打開瀏覽器，輸入網址：http://archive.eclipse
2018-09-11 03:32:13
原创 Hbase集羣安裝和基本操作
由於我們使用的Hadoop版本爲0.20.2，因此這裏使用hbase版本爲0.90.5，讀者朋友可以根據自己的Hadoop版本安裝對應的habase版本(可去搜索引擎搜索詢問）。這裏我們直接在完全分佈式環境下安裝。0.90.5下載地
2018-09-11 03:32:13
原创 MapReduce編程實戰2——倒排索引（jar包）
任務要求：//輸入文件格式18661629496 11013107702446 1101234567 1202345678 120987654 1102897839274 18661629496//輸出文件格式格式1101866162949
2018-09-11 03:32:13
原创 向Hadoop集羣添加一個新的節點
如何向向Hadoop集羣添加一個新的節點？1.在新節點安裝好hadoop或者從其他節點複製一份2.把namenode的有關配置文件複製到該節點3.修改masters和slaves文件，增加該節點，所有節點都得修改4.設置ssh免密碼進出該節
2018-09-11 03:32:13
原创 部署Hadoop集羣
1.Hadoop的3種運行模式 單機模式：安裝簡單，幾乎不用作任何配置，但僅限於調試用途 僞分佈模式：在單節點上同時啓動namenode、datanode、jobtracker、tasktracker、secondary nam
2018-09-11 03:32:12
原创 MapReduce模型以及體系架構
1.Map-Reduce編程模型以氣象數據分析爲例。數據中每一行就是一個時間點採集的溫度信息，現在要分析一年中的最高溫度。Mapper思想：Map-reduce的思想就是“分而治之”Mapper負責“分”，即把複雜的任務分解爲若干個“簡單的
2018-09-11 03:32:12
原创 Hadoop子項目介紹
Hadoop家族項目圖譜各子項目介紹（1）PigHadoop客戶端，解決非Java程序員使用Hadoop難題使用類似於SQL的面向數據流的語言Pig LatinPig Latin可以完成排序，過濾，求和，聚組，關聯等操作，可以支持自定義函數
2018-09-11 03:32:12