原创 Java讀取Excel文件的方法
在應用程序中經常需要讀取Excel文件中的信息，在此將解析Excel文件的代碼貼出，供需要的參考： Excel2003之前與Excel2007之後的文件組織方式，因此讀取代碼也不盡相同。 1. 讀取Excel2003文件，E
2018-09-04 04:31:07
原创 Ubuntu僞分佈模式下SolrCloud集羣安裝
最近正好在做有關Solr索引的工作，爲了工作方便，便在虛擬機中搭建了SolrCloud集羣環境，網上關於SolrCloud搭建的教程很多，自己折騰了好一會終於把SolrCloud環境搭建完畢，下面分享一下主要步驟。 1 搭建環境：
2018-09-04 04:31:06
3
原创 AspectJ使用示例
AspectJ是一個面向切面的AOP框架，AOP的織入方式分爲編譯期織入、裝載期織入、運行期織入。編譯期織入是指在類編譯期間利用特殊編譯將切面織入到類中，這樣生成到字節碼中已經包含了切面；裝載期織入是指在字節碼加載到虛擬機時將切面織入到類
2018-09-04 04:31:06
原创 Bootstrap前端分頁的實現(帶省略號)
在前端展示頁面列表時，下方會有分頁控件，當列表數量比較多時，我們希望在分頁控件中加入省略號以方便頁面展示，下面基於Bootstrap的pagination來實現這一功能。 /** * 獲取分頁 * @param totalPage
2018-09-04 04:31:06
原创 Kettle插件開發流程
最近正好做了有關Kettle中插件開發的工作，對Kettle插件的源碼進行了一定的研究，並開發了自定義的插件，在此有些感悟，記錄下來。 一 Kettle插件概述 Kettle的開發體系是基於插件的，平臺本身提供了接口，開發者按照
2018-09-04 04:31:04
4
原创 自定義logger採集hdfs的審計日誌
Hadoop提供了日誌審計功能，可以記錄對hdfs的操作，包括創建文件、上傳文件、刪除文件等。在某個業務場景中，我們期望將hdfs的操作日誌記錄到日誌平臺中，日誌平臺基於Kafka實現，因此需要將日誌發送到Kafka中。
2018-09-04 04:31:03
3
原创 sparksql集成sentry遇到的問題
sparksql本身並不提供安全認證機制，當前集羣的安全認證主要包括sentry和ranger兩大塊，在通過sparksql執行建表時，sentry的權限報錯'org.apache.hadoop.hive.metastore
2018-09-04 04:31:03
12
原创 基於spark logicplan的表血緣關係解析實現
隨着公司平臺用戶數量與表數量的不斷增多，各種表之間的數據流向也變得更加複雜，特別是某個任務中會對源表讀取並進行一系列複雜的變換後又生成新的數據表，因此需要一套表血緣關係解析機制能清晰地解析出每個任務所形成的表血緣關係鏈。
2018-09-04 04:31:03
12