原创 ZooKeeper 3.4.5 分佈式環境搭建詳解

概述 上一篇中,我們說到了關於 Hadoop-2.2.0 集羣的搭建。在這個系列中,Zookeeper 是必不可少的。本文會介紹 Zookeeper-3.4.5 的安裝,後面會介紹 HBase-0.96 的安裝。希望於你有益。 版權說明

原创 Java 設計模式——狀態模式

概述 很多人在說狀態模式的時候總拿策略模式來進行對比,可能他們的類圖會有一點類似,可我卻不認爲他們有多麼相像。你可以閱讀《Java設計模式——策略模式》這篇博客,並與本文對比,以找到蛛絲馬跡。 他們最根本的差異在於策略模式是在求解同一個

原创 MapReduce 進階:Partitioner 組件

概述 Partitioner 組件可以讓 Map 對 Key 進行分區,從而將不同分區的 Key 交由不同的 Reduce 處理。如果這麼說讓你覺得有一些籠統的話,那麼本文可能很適合你,因爲本文會依據一個具體的實例進行講解。 版權說明

原创 Hadoop 核心編程之 HDFS 的文件操作

前言 本文並沒有打算介紹 HDFS 的讀寫流程,雖然這是一塊比較重要的內容。如果你感興趣,可以去搜索相關資料。如果一遍沒有看懂,請看第二遍。 本文還是以代碼爲主,並附以簡短的說明,幫助你理解代碼的邏輯,以及一些注意事項。你可以將本文的代

原创 HBase 0.98 分佈式集羣安裝詳解

概述 HBase是一個分佈式的、面向列的開源數據庫,該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable:一個結構化數據的分佈式存儲系統”。就像Bigtable利用了Google文件系統(File System)

原创 Java 設計模式——外觀模式

概述 今天要說的外觀模式是一個相對簡單的設計模式,而且在日常的開發中,可能你也會時常使用它,只是你可能並未想過這是一個設計模式。本文會從一些實例着手,來對本文要說明的外觀模式進行儘可能全面的講解。希望於你有益。 引言 這裏插入一條引言的目

原创 排序算法系列:歸併排序算法

概述 上一篇我們說了一個非常簡單的排序算法——選擇排序。其複雜程序完全是冒泡級的,甚至比冒泡還要簡單。今天要說的是一個相對比較複雜的排序算法——歸併排序。複雜的原因不僅在於歸併排序分成了兩個部分進行解決問題,而是在於,你需要一些算法的思想

原创 從 WordCount 到 MapReduce 計算模型

概述 雖然現在都在說大內存時代,不過內存的發展怎麼也跟不上數據的步伐吧。所以,我們就要想辦法減小數據量。這裏說的減小可不是真的減小數據量,而是讓數據分散開來。分開存儲、分開計算。這就是 MapReduce 分佈式的核心。 版權說明 著作