原创 zookeeper配置
zookeeper的默認配置文件爲zookeeper/conf/zoo_sample.cfg，需要將其修改爲zoo.cfg。其中各配置項的含義，解釋如下：1.tickTime：CS通信心跳時間Zookeeper 服務器之間或客戶端與服務器
2018-08-24 03:02:38
2
原创 Zookeeper工作原理
2.1 Zookeeper工作原理»Zookeeper的核心是原子廣播，這個機制保證了各個server之間的同步。實現這個機制的協議叫做Zab協議。Zab協議有兩種模式，它們分別是恢復模式和廣播模式。當服務啓動或者在領導者崩潰後，Zab就
2018-08-24 03:02:38
原创 Hadoop中fs的shell命令實例
help [cmd] //顯示命令的幫助信息ls(r) <path> //顯示當前目錄下所有文件du(s) <path> //顯示目錄中所有文件大小count[-q] <path> //顯示目錄中文件數量mv <src> <dst
2018-08-24 03:02:38
原创 Zookeeper簡單理解
ZooKeeper是一個高可用的分佈式數據管理與系統協調框架。基於對Paxos算法的實現，使該框架保證了分佈式環境中數據的強一致性，也正是基於這樣的特性，使得ZooKeeper解決很多分佈式問題1.1 Zookeeper 是 Google
2018-08-24 03:02:38
3
原创 MapReduce程序的幾種提交運行模式
本地模型運行1、在windows的eclipse裏面直接運行main方法，就會將job提交給本地執行器localjobrunner執行 ----輸入輸出數據可以放在本地路徑下（c:/wc/srcdata/） ----輸
2018-08-24 03:02:37
原创 MapReduce介紹及wordcount實例編程操作
MapReduce概述MapReduce是一種分佈式計算模型，由Google提出，主要用於搜索領域，解決海量數據的計算問題.MR由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce()兩個函數，即可實現分佈式計算，
2018-08-24 03:02:37
2
原创 POJO與JavaBeans、vo、po區別
POJO（Plain Ordinary Java Object）簡單的Java對象，實際上就是普通JavaBeans，使用POJO名稱是爲了避免和EJB混淆起來, 而且簡稱比較直接. 其中有一些屬性及其getter setter方法的類,
2018-08-24 03:02:37
原创 MapReduce的執行流程
1.執行MR的命令： hadoop jar <jar在linux的路徑> <main方法所在的類的全類名> <參數> 例子： hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCoun
2018-08-24 03:02:24