原创 Linux下Mongodb安裝和啓動配置.txt .
1.下載安裝包wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.2.tgz下載完成後解壓縮壓縮包tar zxf mongodb-linux-i686-1.8.2.tgz
2020-07-02 07:30:47
原创 Linux下Mongodb的分佈式分片羣集(sharding cluster)配置 .
Shardingcluster介紹 這是一種可以水平擴展的模式，在數據量很大時特給力，實際大規模應用一般會採用這種架構去構建monodb系統。 要構建一個 MongoDB Sharding Cluster，需要三種角色： Shard Se
2020-07-02 07:30:47
原创 Linux下Hadoop集羣安裝詳細步驟 .
1. 環境的需求(這裏虛擬機下Centos6的安裝就不說了) Centos6 + hadoop-0.21.0.tar 2.
2020-07-02 07:30:47
原创 redHat linux下安裝hadoop 0.20.2, 並在windows下遠程連接此hadoop,開發調試 .
此文章的前提是：知道hadoop是什麼，知道什麼是分佈式系統，瞭解hdfs和mapreduce的概念和原理。這裏只是把筆者在學習hadoop過程中的一些經驗和自己的看法分享一下。此文章包括兩部分： 1、hadoop 在
2020-02-22 22:51:40
原创 用 Hadoop 進行分佈式數據處理(進階)
本文是嵌入式固件架構師M. Tim Jones所撰寫的，本系列的用 Hadoop 進行分佈式數據處理，第 1 部分：入門 展示瞭如何在一個單節點集羣中使用 Hadoop。本文在此基礎之上繼續介紹一個更加高級的設置，即使用多個節點進行並行處
2020-02-22 22:51:40
原创 Pig安裝與配置教程
Pig是yahoo捐獻給apache的一個項目，它是SQL-like語言，是在MapReduce上構建的一種高級查詢語言，把一些運算編譯進MapReduce模型的Map和Reduce中，並且用戶可以定義自己的功能。這是Yahoo開發的又
2020-02-22 22:51:40
原创 Linux下Mongodb的主從配置 .
一 Master和Slave的配置方法1. 主機器(master)master: 172.16.101.251mongodb home: /usr/local/server/mongodb/data file: /usr/local/se
2020-02-22 22:51:40
原创 windows環境Mongodb安裝和配置.txt
一、mingoDB 數據庫系統的安裝和管理： 1，下載：http://downloads.mongodb.org/win32/mongodb-win32-i386-1.4.0.zip 2，解壓 mongodb-win32-i38
2020-02-22 22:51:40
原创 MapReduce數據流（二）
接上一篇：MapReduce數據流（一） 輸入塊（InputSplit）：一個輸入塊描述了構成MapReduce程序中單個map任務的一個單
2020-02-22 22:51:40
原创 Hadoop集羣配置（最全面總結） . .
通常，集羣裏的一臺機器被指定爲 NameNode，另一臺不同的機器被指定爲JobTracker。這些機器是masters。餘下的機器即作爲DataN
2020-02-22 22:51:40
原创 用 Hadoop 進行分佈式數據處理（入門）
導讀：本文是嵌入式固件架構師M. Tim Jones所撰寫的，次文是討論 Hadoop 的系列中的第一篇，主要介紹Hadoop框架，包括 Hadoop 文件系統 (HDFS) 等基本元素和常用的節點類型。學習如何安裝和配置單節點 Hado
2020-02-22 22:51:40
原创 MapReduce基礎
這篇文章翻譯自Yahoo的Hadoop教程，很久之前就看過了，感覺還不錯。最近想總結一下以前學的東西，看到現在關於Hadoop的中文資料還比較少，就
2020-02-22 22:51:40
原创 MapReduce數據流（三）
額外的MapReduce功能 圖4.6 插入了Combiner的MapReduce數據流 Combiner：前面展示的流水線忽略了一個可以優化MapReduce作業所使用帶寬的步驟，這個過程叫Combiner，它在Mapper之後Re
2020-02-22 22:51:40
原创 線程池--java.util.concurrent 多線程框架（二）
當然線程池也要顯式退出了。 package concurrent;import java.io.File;import java.io.FileFilter;import java.util.concurrent.BlockingQueu
2018-08-28 13:36:45
4
原创 Hadoop 雙機熱備-AvatarNode部署 .
Hadoop 雙機熱備 --AvatarNode部署 部署環境 虛擬機5臺（1G內存，40G硬盤，ubuntu操作系統，Hadoop-0.20.2） hadoop1-virtual-machine 10.10.11.250 Avatar
2018-08-28 13:36:43
2