原创 受用的工作習慣
1.長期的任務，要儘早開始 一般來說，長期任務總是比較煩人，也有難度，而人心裏總有逃避困難的趨勢，最後的結果或者是最後乾脆放棄，或者是剩下一點點時間手忙腳亂地趕工；我自己之前也有這樣的教訓，自欺欺人地說“要輕鬆生活，拋開煩擾”，到最後幾
2019-06-19 14:37:40
原创 Hadoop安裝後的集羣基準測試
一旦創建Hadoop集羣並開始運行，我們需要給予用戶權限使用它。這就是需要爲每一個用戶創建一個目錄，並且對它設置權限許可。這就需要爲每一個用戶創建一個主目錄，並且對它設置權限許可： [root@slave1 hadoop-0
2019-06-19 14:37:39
原创 通過一個對數據的存儲和分析的簡單實例初識Hadoop
對於一個剛剛接觸Hadoop的菜鳥來說，Hadoop的概念還是挺抽象的，而且這個技術剛剛興起，除了阿里巴巴，騰訊、中國移動這些技術實力非常強而且需要對數據進行海量存儲的公司對Hadoop技術有一些初步應用以外，其它中小企業對
2019-06-19 14:37:39
2
原创 Linux CentOS下Hadoop僞分佈模式安裝筆記
一. 概要 經過幾天的調試，終於在Linux Cent OS 5.0下成功搭建Hadoop測試環境。本次測試在一臺服務器上進行僞分佈式搭建。Hadoop 僞分佈式模式是在單機上模擬 Hadoop 分佈式，單機上的分佈式並不是真
2019-06-19 14:37:39
1
原创 HDFS Shell基本操作總結
通過對Hadoop分佈式文件系統的的基本使用，對HDFS Shell的基本操作進行如下總結 1.HDFS Shell基本操作總結 1.1 瀏覽你的HDFS目錄 [root@slave1 bin]# hadoop fs
2019-06-19 14:37:39
原创 HDFS--Hadoop分佈式文件系統專項基礎概述
1. 概述 當數據集超過一個單獨的物理計算機的存儲能力時，便有必要將它分佈到多個獨立的計算機。管理着跨計算機網絡存儲的文件系統稱爲分佈式文件系統。分佈式文件系統基於網絡，所有網絡編程的複雜性都會隨着而來，所以分佈式文件系統比
2019-06-19 14:37:39
1
原创 HDFS數據流程剖析
一、 HDFS總體結構示意圖 1． 圖中展現了整個HDFS三個重要角色：NameNode、DataNode和Client 1) NameNode可以看作是分佈式文件系統中的管理者，主要負責管理文件系統的命名空間、集
2019-06-19 14:37:39
原创 Linux CentOS下Hadoop分佈式安裝筆記2
上一次在一臺服務器成功完成了Linux Cent OS 5.0下 Hadoop僞分佈式的安裝。本次用3臺服務器進行進一步測試，其中一臺服務器做爲master,namenode,jobtracker，其它兩臺做slave,data
2019-06-19 14:37:39
1
原创 什麼是Hadoop？
1.Hadoop是什麼 Hadoop原來是ApacheLucene下的一個子項目，它最初是從Nutch項目中分離出來的專門負責分佈式存儲以及分佈式運算的項目。用於海量數據的並行處理，簡單地說來，Hadoop是一個可以更容易開
2019-06-19 14:37:39