原创 從sql關聯數據異常看精度丟失問題
目錄 背景 代碼測試： 測試結果： 結果說明： 原因分析： float與double的範圍和精度 解決方案： 背景 bigint和string做join的時候 會先都隱式轉換成double在join，可能會由於精度丟失導致join的結果不
2020-06-26 02:00:03
2
原创 java反射代碼留存（invokeSetMethod、invokeGetMethod）
代碼： public class JavaBeanUtil { private static final Logger logger = LoggerFactory.getLogger(JavaBeanUtil.class
2020-06-26 02:00:03
原创 Flink ProcessFunction onTimer 延遲處理數據
ProcessFunction和CoProcessFunction 說明 DataStream與KeyedStreamd都有Process方法, DataStream接收的是ProcessFunction，而KeyedStream接收的是
2020-06-26 02:00:03
2
原创 kafka各版本新特性介紹（0.8.2-1.0.0版本）--kafka1.0新特性介紹
目錄 consumer機制 consumer機制 kafka 0.8--kafka 0.9--kafka 0.10 -- kafka 1.0 各版本的新特性 最重要的是，就是consumer的機制。 consumer機制各版本的演化：
2020-06-26 02:00:03
3
原创 if-else優化之擁抱規則引擎
分享是一種精神，是加深理解最好的方式之一 前言 現代編程日益複雜，面臨如下問題 1、爲提高效率，管理流程必須自動化，即使現代商業規則異常複雜。 2、市場要求業務規則經常變化，IT系統必須依據業務規則的變化快速、低成本的更新。 3
2020-06-26 02:00:03
原创 一舉搞定 Elasticsearch 分詞難題
目錄 1. 上手 2. 分詞 3. 寫時分詞結果 4. 讀時分詞結果 5. 解釋問題 6. 解決需求 7. 深入分析 8. 自定義分詞 初次接觸 Elasticsearch 的同學經常會遇到分詞相關的難題，比如如下這些場景： 爲什麼命名有
2020-06-01 06:04:29
原创 storm核心原理講解
目錄 框架介紹 Storm應用場景總結： Storm體系結構 Storm組件 關係簡介 舉例說明： 故障容忍 概念 三種消息保證機制 At Most Once語義 At Least Once語義 Exactly Once語義 數據流分組
2020-06-01 06:04:29
原创 學習筆記-spark
概念 RDD: 彈性分佈式數據集（由分區組成），每個分區在不同節點上 job：在裏面可以看到當前應用分析出來的所有任務，以及所有的excutors中action的執行時間。 stage：在裏面可以看到應用的所有stage，stag
2020-05-25 03:03:51
原创 學習筆記-zookeeper
Zookeeper是一個分佈式協調服務。 https://km.sankuai.com/page/28437097 去中心化：我們都是相等的 中心化：Zookeeper 都是中心化的，圍繞 leader Zookeeper 如何解
2020-05-23 14:16:35
原创 Java結束線程的三種方法
線程屬於一次性消耗品，在執行完run()方法之後線程便會正常結束了，線程結束後便會銷燬，不能再次start,只能重新建立新的線程對象，但有時run()方法是永遠不會結束的。例如在程序中使用線程進行Socket監聽請求，或是其他的需要循環處
2020-02-21 08:47:43
原创 Java遠程調試的原理
原文鏈接：https://my.oschina.net/u/3448620/blog/1525248 JDWP（Java Debug Wire Protocol） 兩個VM之間通過debug協議
2019-10-25 18:35:00
原创 MySQL · 答疑解惑 · MySQL 鎖問題最佳實踐
原文鏈接：http://mysql.taobao.org/monthly/2016/03/10/ 目錄 前言 設計階段 開發階段 維護階段 總結 前言 最近一段時間處理了較多鎖的問題，包括鎖
2019-10-25 18:34:58
原创 Flink 原理與實現：數據流上的類型和操作
原文鏈接：http://wuchong.me/blog/2016/05/20/flink-internals-streams-and-operations-on-streams/ Flink 爲
2019-09-19 23:27:11
1
原创 Flink基於EventTime和WaterMark處理亂序事件和晚到的數據
在實際的業務中,我們經常會遇到數據遲到的情況,這個時候基於窗口進行計算的結果就不對了,Flink中watermark就是爲了解決這個問題的,理解watermark之前,先來說一下flink中的三個與流數據相關的概念,Process
2019-07-09 18:52:49
4
原创 Flink亂序處理之allowedLateness使用
1、簡介 Flink中藉助watermark以及window和trigger來處理基於event time的亂序問題，那麼如何處理“late element”呢？ 也許有人會問，out-of-order element與late
2019-07-09 18:52:49
11