原创 含有壓縮等最全功能的文件及文件夾處理工具類FileUtil

含有壓縮等最全功能的文件及文件夾處理工具類 import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.Buffered

原创 各種要求的時間處理的date工具類DateUtil

 各種要求的時間處理的date工具類 import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; public class

原创 建造者模式遇到大數據SparkSession,使鏈式函數編程再次流行

前言 在過去,最流行的後臺代碼開發模式是工廠模式,工廠方法,裝飾模式等,但是隨着大數據時代的到來,及spark2.0的引入,建造者模式,也流行起來,尤其是鏈式函數方法的使用! 建造者模式的原理 一個構建者模式的實例demo packag

原创 新裝Centos系統服務器升級Linux內核至3.0.88

前言 對於項目的採集層,如果要使用萬兆網卡進行原始信令的採集處理,需要使用netmap對萬兆網卡的數據包做採集。經過測試,netmap依賴的linux內核是3.0.88,所以所有的採集服務器,內核必須安裝|升級到3.0.88。 新裝服務器

原创 Windows7系統安裝oracle12c的全過程

前言 安裝包下載地址:http://www.oracle.com/technetwork/cn/database/enterprise-edition/downloads/index.html 如果之前安裝過了的,但是想要再重新安裝,請確

原创 debug代碼解析shiro認證流程

debug代碼解析shiro認證流程的示例代碼https://gitee.com/158cosmos/springboot_shiro.git Apache Shiro™是一個優秀的開源權限控制框架,首先看一下官網的框架架構圖以及對它的介

原创 百度地圖求點和雙向曲線的最短距離的優化方案及建議

前言 首先,我們都知道,點和直線最短的距離就是點到直線的垂直距離。我們用直角三角板的直角邊,畫出的直線即爲所求,那麼,曲線呢? 問題轉化 我們把曲線切割成直線,那麼兩兩的最短距離就是那些直角邊畫出來的集合,因此,我們可以通過比較這些集合,

原创 安裝Kubernetes的輕量集羣minikube

前言 Minikube是一種方便在本地運行Kubernetes的工具,Minikube是可以在VM中運行單節點的Kubernetes集羣,Minikube是爲了開發或測試在本地啓動一個節點的kubernetes集羣。 特點:不能啓動生產集

原创 Cloudera集羣在運行中常見的問題,及解決方案

1、某臺datanode機器啓動不起來 某臺datanode機器啓動不起來,報錯信息如下 具體問題 Failed to analyze storage directories for block pool BP-177636967-1

原创 MySql出現中文亂碼問題的解決方案

1.登錄mysql,查看數據庫的整體編碼 mysql> show variables like 'character%'; +--------------------------+---------------------------

原创 SpringBoot + Ehcache之自定義Key生成策略

前言 今天在項目啓用了ehcache緩存,但是某些方法使用緩存後不能正確的返回數據,拋出了類型轉換異常,找了一番資料後發現是緩存的key生成策略問題,在此將此問題及解決辦法記錄一下。 spring cache緩存的key spring c

原创 springboot嵌入DFA算法對敏感詞進行過濾,由測試版,過度到鑲嵌版的過程

前言 一個算法的誕生,是先在測試版,進行反覆測試,再過度到項目的鑲嵌使用,每一步都蘊含着技術和挑戰!對於DFA算法對敏感詞進行過濾,先進行測試版測試,然後鑲嵌項目中進行實現! 測試版代碼目錄 鑲嵌版代碼目錄 算法的講解 由於Lucen

原创 springboot後端實現防禦xSRF攻擊的策略,及session token防禦機制代碼分析

前言 csrf/xsrf(Cross-site request forgery),中文名稱:跨站請求僞造,也被稱爲:one click attack/session riding,縮寫爲:CSRF/XSRF。攻擊者將會盜用你的身份,以你

原创 Spark job提交時,spark-submit的主要參數的解析及建議

前言 說spark之前,先提一下MapReduce:     最本質的兩個過程就是Map和Reduce Map的應用在於我們需要數據一對一的元素的映射轉換,比如說進行截取,進行過濾,或者任何的轉換操作,這些一對一的元素轉換就稱作是Map;

原创 項目上兼容Oracle與PG遇到問題的解決方案

一、Oracle與PG在mybatis的sql配置文件中的不同 在mybatis的sql配置文件中,如果是單獨的sql語句,就是不是存儲過程,寫的sql語句是不能使用分號做結尾的,不然程序運行的時候會報ora-00911: 無效字符.如: