原创 Apache Ranger原理與應用實踐
確實好文章！ 原文鏈接：https://blog.csdn.net/qq475781638/article/details/90247153
2020-07-07 07:33:53
3
原创 使用mapreduce讀取hfile
這裏主要說是hbase提供的一個HFileScanner的使用。 以下代碼使用HFileScanner寫一個inputformat package hadoop.hbase; import java.io.IOException; imp
2020-06-13 09:09:11
3
原创 elasticsearch2.2-yarn（hadoop）安裝
序言： 首先說說es2.2在yarn上跑的好處和不足，在hadoop上跑可以統一使用yarn資源，不用單獨給es搞物理機了。 這裏要注意es並沒有使用hdfs，網上資料說可以使用hdfs來管理es備份文件，本人費很大勁沒有找到成功安
2020-06-13 09:09:11
原创 elasticsearch2.2的單機安裝
性能描述 elasticsearch2.2的性能還是非常好的，我這裏使用了5個虛擬機性能很一般的虛擬機如圖： 沒有副本，20個分片，數據量爲250g，文檔數爲5.7億條，這樣的查詢還能0.1秒查到： 安裝步驟 言歸正傳
2020-06-13 09:09:11
1
原创 hadoop2.6數據導入elasticsearch2.2（解析hbase導出數據）
參考網址： https://www.elastic.co/guide/en/elasticsearch/hadoop/current/mapreduce.html 1.下載依賴jar elasticsearch-hadoop2.2.0.
2020-06-13 09:09:11
原创 elasticsearch2.2多表聯查分析及其hdsf支持說明
一、多表聯查問題 首先開門見山的說，elasticsearch對多表的聯查是不支持的，暫時只能說支持“過車數據可以打標記” 1.分析案例一 網上有個案例地址爲： http://www.wowtools.org/blog/articles/
2020-06-13 09:09:11
原创 kafka0.72擴容和磁盤優化
kafka從0.8.2開始一下兩個特性 1.支持使用命令管理topic並partition（Add delete topic to topic commands and update DeleteTopicCommand） 2.支持配
2020-06-13 09:09:11
原创 成爲JavaGC專家（2）
轉載地址：http://www.importnew.com/2057.html 本文是成爲Java GC專家系列文章的第二篇。在第一篇《深入淺出Java垃圾回收機制》中我們學習了不同GC算法的執行過程，GC是如何工作的，什麼是新生代和
2020-06-13 09:09:11
原创 hadoop之fsimage和edits工作機制和元數據namenode宕機恢復
今天發現我們的集羣namenode啓動不了了，報錯如下圖 關鍵在於在secondarynamenode報錯停止之後，namenode開始創建edits.new文件記錄新的操作元數據，然後不知道是由於什麼問題導致的這個元數據加載報錯。 按
2020-06-13 09:09:11
原创 kafka0.7x到kafka0.8x改變一
0.8x版本開始新group讀取數據時從最新的開始，之前版本反之。 kafka0.7x版本配置項autooffset.reset 默認smallest 從最老數據開始 kafka0.8x版本配置項auto.offset.reset
2020-06-13 09:09:11
原创 成爲JavaGC專家（1）
轉載地址：http://www.importnew.com/1993.html 對於Java開發人員來說，瞭解垃圾回收機制（GC）有哪些好處呢？首先可以滿足作爲一名軟件工程師的求知慾，其次，深入瞭解GC如何工作可以幫你寫出更好的J
2020-06-13 09:09:11
原创 使用ToolRunner運行Hadoop程序基本原理分析
爲了簡化命令行方式運行作業，Hadoop自帶了一些輔助類。GenericOptionsParser是一個類，用來解釋常用的Hadoop命令行選項，並根據需要，爲Configuration對象設置相應的取值。通常不直接使用Generi
2020-02-25 01:21:43
原创 成爲Java GC專家（3）
轉載地址：http://www.importnew.com/3146.html 本文是成爲Java GC專家系列文章的第三篇。在第一篇《成爲JavaGC專家Part I — 深入淺出Java垃圾回收機制》中我們學習了不同GC算法的執行
2020-02-25 01:21:43
原创 成爲Java GC專家（5）
轉載地址：http://www.importnew.com/13954.html 這是“成爲Java GC專家”系列的第五篇文章。在第一篇深入淺出Java垃圾回收機制中，我們已經學習了不同的GC算法流程、GC的工作原理、新生代（You
2020-02-25 01:21:43
原创 nginx 安裝手記
Nginx需要依賴下面3個包 1. gzip 模塊需要 zlib 庫 ( 下載: http://www.zlib.net/ ) zlib-1.2.8.tar.gz2. rewrite 模塊需要 pcre 庫 ( 下載: htt
2020-02-25 01:21:43