原创 聊聊Greenplum的那些事
開卷有益——作者的話 有時候真的感嘆人生歲月匆匆，特別是當一個IT人沉浸於某個技術領域十來年後，驀然回首，總有說不出的萬千感慨。 筆者有幸從04年就開始從事大規模數據計算的相關工作，08年作爲Greenplum 早期員工加入
2019-03-29 17:44:47
原创 關於一條sql從mysql或postgresql等數據庫中查出大量數據而不造成內存溢出的方法
場景：我們在做大量數據導出的時候，單條sql導出幾千萬級別以上數據容易造成內存溢出，採用limit有時候也不方便，而且如果在數據倉庫中做這種操作的時候，複雜sql可能會很慢，這樣分成limit和，每條sql都執行幾分鐘，那效率可也太低了。
2019-03-13 16:35:51
原创 關於jdbc向mysql和postgresql批量插入大量數據時候的優化！
1.對於mysql數據庫，driverurl中加入:allowMultiQueries=true&rewriteBatchedStatements=true; 這樣在使用jdbctemplate插入的時候，類似: private voi
2019-03-13 16:35:40
原创 MySQL binlog 增量數據解析服務
1. 起因 做過後端開發的同學都知道, 經常會遇到如下場景: 後端程序根據業務邏輯, 更新數據庫記錄 過了幾天, 業務需求需要更新搜索索引 又過了幾天, 隨着數據需求方的增多, 結構改成發送數據到消息中間件(例如 Kafka), 其他系統
2018-10-27 06:21:58
4
原创 數字證書原理,公鑰私鑰加密原理
文中首先解釋了加密解密的一些基礎知識和概念，然後通過一個加密通信過程的例子說明了加密算法的作用，以及數字證書的出現所起的作用。接着對數字證書做一個詳細的解釋，並討論一下windows中數字證書的管理，最後演示使用makecert生成數字證
2018-09-04 04:12:55
原创 常用lambda表達式
package othertest; import org.junit.Before; import org.junit.Test; import org.springframework.test.context.TestProper
2018-09-04 04:12:55
原创 idea基本設置
1.設置maven倉庫file -> other settings -> default settings 搜索maven，修改maven home directory和User settings file
2018-08-22 07:55:59
1
原创 spring從數據庫讀入數據源並初始化
@Component public class DcDataSourceInitEvent implements ApplicationContextAware, ApplicationListener<ContextRefreshedE
2018-08-22 07:55:59
1
原创 cookie 跨域訪問的解決方案
Cookie 同域單點登錄 最近在做一個單點登錄的系統整合項目，之前我們使用控件實現單點登錄(以後可以介紹一下)。但現在爲了滿足客戶需求，在不使用控件情況下實現單點登錄，先來介紹一下單點登錄。 單點登錄：多個不同系
2018-08-22 07:55:58
原创 easypoi大數據導出，感覺真的好用
我用的這個poi版本 <!-- poi依賴 --> <dependency> <groupId>cn.afterturn</groupId> <artifactId>eas
2018-08-22 07:55:35
13
原创 linux shell腳本連接mysql數據庫並使用sftp上傳文件
#！/bin/bash db_host="xxx.xxx.xxx.xx" db_port="3870" db_user="xx" db_pwd="xxxxxxxxxx" db_name="xx" #當天文件對應id，需配置 report
2018-08-22 07:55:33
原创 mycat-web使用
先去 http://dl.mycat.io/ 下載mycat-web-1.0的linux包上傳到服務器並解壓。 安裝zookeeper到對應服務器,快速安裝可參考: http://blog.csdn.net/u012572955/arti
2018-08-22 07:55:33
3
原创 Raft 爲什麼是更易理解的分佈式一致性算法
一致性問題可以算是分佈式領域的一個聖殿級問題了，關於它的研究可以回溯到幾十年前。 拜占庭將軍問題 Leslie Lamport 在三十多年前發表的論文《拜占庭將軍問題》（參考[1]）。 拜占庭位於如今的土耳其的伊斯坦布爾，是東羅馬
2018-08-22 07:55:32
5
原创 spring boot配置logback日誌輸出
文件目錄結構: application.properties內容: #默認使用application-local.properties,logback-my.xml中也將使用name="local"輸出日誌 spring.profil
2018-08-22 07:55:30
3
原创 linux grep正則表達式與grep用法詳解
正則表達式只是字符串的一種描述，只有和支持正則表達式的工具相結合才能進行字符串處理。本文以grep爲例來講解正則表達式。 grep命令 功能：輸入文件的每一行中查找字符串。 基本用法： grep [-acinv] [--col
2018-08-22 07:55:28