原创 HDFS的文件讀取與寫入流程
文件讀取流程 1) 客戶端首先要調用FileSystem對象的靜態方法open()方法來打開一個希望讀取文件的路徑，在HDFS中文件的對象爲Path對象(與Java中的File相對應)。 2) FileSystem對象就是
2018-09-12 03:57:30
原创 Ubuntu 12.04搭建hadoop單機版環境
前言： 本文章是轉載的，自己又加上了一些自己的筆記整理的 詳細地址請查看Ubuntu 12.04搭建hadoop單機版環境Hadoop的三種運行模式獨立模式：無需任何守護進程，所有程序都在單個JVM上執行。僞分佈模式：Hadoop守
2018-09-12 03:57:30
1
原创 Hive自定義UDF和聚合函數UDAF
Hive是一種構建在Hadoop上的數據倉庫，Hive把SQL查詢轉換爲一系列在Hadoop集羣中運行的MapReduce作業，是MapReduce更高層次的抽象，不用編寫具體的MapReduce方法。Hive將數據組織爲表
2018-09-12 03:57:29
原创 Java實現單鏈表的逆轉置
單鏈表逆轉置的遞歸與非遞歸方式package link.reverse; // 定義一個單鏈表 class Node { //變量 private int record; //指向下一個對象
2018-09-12 03:57:29
原创 mac或linux下安裝hadoop-2.8流程
mac上安裝hadoop 1,mac下的javall /usr/bin |grep'java'默認:/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/
2018-09-12 03:57:29
4
原创 Java已知二叉樹的前序中序求後序序列
已知前序與中序的字符序列，輸出後序序列。後序序列爲：左子樹，右子樹，根第一種 利用一個索引，從最大索引值寫入，依此遞減寫入右子樹和左子樹，循環利用遞歸實現。不使用String類的apipackage whut.tree; //已知二叉樹前序
2018-09-12 03:57:29
原创 剖析curator的分佈式互斥鎖原理
1 前言最近在做項目的時候，遇到一個多線程訪問申請一個資源的問題。需要每個線程都能夠最終在有效的時間內申請到或者超時失敗。以前一般這種方式用的是redis做枷鎖機制，每個線程都去redis加一把共同的鎖，如果枷鎖成功，則執行資源申請操作。而
2018-09-12 03:57:29
1
原创 Java已知二叉樹的中序後序求先序序列
已經中序，後序，求先序。先序的順序爲：先根節點，後左子樹，後右子樹。package whut.tree; //利用java api來進行遍歷 ////已知二叉樹後序和中序，求先序 public class MiddleAfterTree {
2018-09-12 03:57:29
原创 java非遞歸方式實現快速排序
Java非遞歸方式實現快速排序package sort.algorithm; import java.util.Stack; //快速排序的非遞歸實現，利用系統的棧stack public class QuickSortNonRecursi
2018-09-12 03:57:29
原创 MapReduce的自制Writable分組輸出及組內排序
問題描述：輸入文件格式如下：name1 2name3 4name1 6name1 1name3 3name1 0要求輸出的文件格式如下：name1 0，1，2，6name3 3，4要求是按照第
2018-09-12 03:57:28
原创 Pig自定義過濾UDF和加載UDF
Pig是一種數據流編程語言，由一系列操作和變換構成，每一個操作或者變換都對輸入進行處理，然後產生輸出結果，整體操作表示一個數據流。Pig的執行環境將數據流翻譯爲可執行的內部表示，在Pig內部，這些變換操作被轉換爲一系列的M
2018-09-12 03:57:28
1
原创 MapReduce的一對多連接操作
問題描述：一個trade table表product1"trade1product2"trade2product3"trade3一個pay table表product1"pay1product2"pay2product2"pay3produ
2018-09-12 03:57:27