原创 Hadoop 源代碼分析（二四）FSNamesystem
下面輪到FSNamesystem 出場了。FSNamesystem.java 一共有4573 行，而整個namenode 目錄下所有的Java 程序總共也只有16876行，把FSNamesystem 搞定了，NameNode 也就基本搞定。
2019-07-19 13:24:02
1
原创 資源分享redis中文入門手冊
資源分享redis中文入門手冊http://bbs.superwu.cn/forum.php?mod=viewthread&tid=760&extra=page%3D1 更多精彩內容請關注：http://bbs.superwu.cn 關注超
2019-07-19 13:23:51
原创 Hadoop源代碼分析（MapReduce概論）
大家都熟悉文件系統，在對HDFS進行分析前，我們並沒有花很多的時間去介紹HDFS的背景，畢竟大家對文件系統的還是有一定的理解的，而且也有很好的文檔。在分析Hadoop的MapReduce部分前，我們還是先了解系統是如何工作的，然後再進入我們
2019-02-22 23:05:02
2
原创 hive字符串函數
1. 字符串長度函數：length語法: length(string A)返回值: int說明：返回字符串A的長度舉例：hive> select length('abcedfg') from lxw_dual;72. 字符串反轉函數：rev
2019-02-22 23:05:00
原创 Hadoop源代碼分析（mapreduce.lib.partition/reduce/output）
Map的結果，會通過partition分發到Reducer上，Reducer做完Reduce操作後，通過OutputFormat，進行輸出，下面我們就來分析參與這個過程的類。 Mapper的結果，可能送到可能的Combiner做合併，Com
2018-09-11 02:30:02
原创 redis學習筆記之發佈訂閱
發佈訂閱(pub/sub)是一種消息通信模式，主要的目的是解耦消息發佈者和消息訂閱者之間的耦合，這點和設計模式中的觀察者模式比較相似。pub /sub不僅僅解決發佈者和訂閱者直接代碼級別耦合也解決兩者在物理部署上的耦合。redis作爲一個p
2018-09-11 02:30:02
原创 hbase列表分頁
HBase的分頁實現相對複雜一些。核心思想是結合分頁過濾器PageFilter(pageSize)和查詢設置開始行scan.setStartRow(lastRow)，lastRow爲上一次查詢rowkey，需要注意的是該rowkey是一個數
2018-09-11 02:30:02
原创 Scala---For語句段
For語句段語法：Expr1 ::= for (( Enumerators ) | { Enumerators}) {nl} [yield] ExprEnumerators ::= Generator {semi Enumerator}En
2018-09-11 02:30:02
原创 在不同版本hdfs集羣之間轉移數據
在不同版本hdfs集羣之間轉移數據 最簡單的辦法就是把src集羣的數據導到本地，然後起另一個進程將本地數據傳到des集羣上去。 不過這有幾個問題：效率降低 佔用本地磁盤空間 不能應付實時導數據需求 兩個進程需要協調，複
2018-09-11 02:30:02
原创 hive字符串函數
1. 字符串長度函數：length語法: length(string A)返回值: int說明：返回字符串A的長度舉例：hive> select length('abcedfg') from lxw_dual;72. 字符串反轉函數：rev
2018-09-11 02:30:02
原创 solr配置參考
配置參考solrConfig.xml <!-- 7.5中solrConfig.xml中已做詳細解釋，或者參考5.3 --> <?xml version="1.0" encoding="UTF-8" ?> <config> <
2018-09-11 02:30:02
4
原创 redis兩種調用方式實例
在下面的代碼示例中，將給出兩種最爲常用的Redis命令操作方式，既普通調用方式和基於管線的調用方式。 注：在閱讀代碼時請留意註釋。 1 #include <stdio.h> 2#include <stdlib.h> 3#incl
2018-09-11 02:30:02
原创 快速排序法（一）
說明快速排序法（quick sort）是目前所公認最快的排序方法之一（視解題的對象而定），雖然快速排序法在最差狀況下可以達O(n2)，但是在多數的情況下，快速排序法的效率表現是相當不錯的。快速排序法的基本精神是在數列中找出適當的軸心，然後將
2018-09-11 02:30:01
原创 solr聚類
Solr 使用Carrot2完成了聚類功能,能夠把檢索到的內容自動分類, Carrot2聚類示例: 要想Solr支持聚類功能,首選要把Solr發行包的中的dist/ solr-clustering-4.2.0.jar, 複製到
2018-09-11 02:30:01