原创 值得收藏RabbitMQ 的可複用可擴展的分佈式事務消息架構完美方案
前提 分佈式事務是微服務實踐中一個比較棘手的問題，在筆者所實施的微服務實踐方案中，都採用了折中或者規避強一致性的方案。參考Ebay多年前提出的本地消息表方案，基於RabbitMQ和MySQL（JDBC）做了輕量級的封裝，實現了低入侵性的事
2020-05-31 18:13:33
原创 手把手教你實現通俗易懂Netty 實現自定義協議！
關於協議，使用最爲廣泛的是HTTP協議，但是在一些服務交互領域，其使用則相對較少，主要原因有三方面： HTTP協議會攜帶諸如header和cookie等信息，其本身對字節的利用率也較低，這使得HTTP協議比較臃腫，在承載相同信息的情況
2020-05-31 18:13:33
原创 剖析Elasticsearch的IndexSorting:一種查詢性能優化利器厲害我的哥哥
因爲IndexSorting是在ES6.0之後才作爲實驗性的功能加入，相關的介紹資料還比較少，所以大部分人對它不夠了解。另一方面是，想要理解它爲什麼能夠優化性能、適合哪些場景、內部如何實現、有何副作用等，也需要花一翻功夫。所以本文專門對I
2020-05-31 18:13:33
原创 通徹的瞭解 Redis 6.0 的客戶端緩存！
近日 Redis 6.0.0 GA 版本發佈 ，包括了客戶端緩存 (Client side caching)、ACL、Threaded I/O 和 Redis Cluster Proxy 等諸多更新。 我們今天就依次聊一下客戶端緩存的必要
2020-05-31 18:13:33
原创 JVM性能調優監控工具強悍版
現實企業級Java應用開發、維護中，有時候我們會碰到下面這些問題： OutOfMemoryError，內存不足 內存泄露 線程死鎖 鎖爭用（Lock Contention） Java進程消耗CPU過高 .....
2020-05-25 21:25:29
原创 延時隊列的6中說法，最後一種技術含量高喲
一口氣說出 6種 延時隊列的實現方法，面試官也得服 原創 程序員內點事 程序員內點事 1周前 五一期間原計劃是寫兩篇文章，看一本技術類書籍，結果這五天由於自律性過於差，禁不住各種誘惑，我連電腦都沒打開過，計劃完美宣告失敗。所以在這能看出和
2020-05-24 01:18:04
原创 設計模式在Spring中的運用
.簡單工廠(非23種設計模式中的一種) 實現方式： BeanFactory。Spring中的BeanFactory就是簡單工廠模式的體現，根據傳入一個唯一的標識來獲得Bean對象，但是否是在傳入參數後創建還是傳入參數前創建這個要根據具體情
2020-05-24 01:18:04
原创 Hive之基本進階操作
hive ------------------ 在hadoop處理結構化數據的數據倉庫。 不是: 關係數據庫 不是OLTP 實時查詢和行級更新。 hive特點 ----------
2020-05-15 03:04:24
原创 Hive的數據傾斜和解決方法
在做Shuffle階段的優化過程中，遇到了數據傾斜的問題，造成了對一些情況下優化效果不明顯。主要是因爲在Job完成後的所得到的Counters是整個Job的總和，優化是基於這些Counters得出的平均值，而由於數據傾斜的原因造成ma
2020-05-15 03:04:24
原创 如何實時監控 Flink 集羣和作業？
Flink 相關的組件和作業的穩定性通常是比較關鍵的，所以得需要對它們進行監控，如果有異常，則需要及時告警通知。本章先會教會教會大家如何利用現有 Flink UI 上面的信息去發現和排查問題，會指明一些比較重要和我們非常關心的指標，通過這
2020-05-12 04:03:56
原创 16.Flink之網絡流控及反壓剖析
本文根據 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大數據平臺研發負責人張俊老師分享。主要內容如下： 網絡流控的概念與背景 TCP的流控機制 Flink TC
2020-05-10 16:10:14
原创 17.Flink之詳解 Metrics 原理與實戰
什麼是 Metrics？ Flink 提供的 Metrics 可以在 Flink 內部收集一些指標，通過這些指標讓開發人員更好地理解作業或集羣的狀態。由於集羣運行後很難發現內部的實際狀況，跑得慢或快，是否異常等，開發人員無法實時查看所
2020-05-10 16:10:04
原创 18.Flink之Flink Connector
本文主要分享 Flink connector 相關內容，分爲以下三個部分的內容：第一部分會首先介紹一下 Flink Connector 有哪些。第二部分會重點介紹在生產環境中經常使用的 kafka connector 的基本的原理以及
2020-05-10 16:10:04
原创 15.Flink之Flink 作業執行深度解析
一是如何從 Program 到物理執行計劃， 二是生成物理執行計劃後該如何調度和執行。 Flink 四層轉化流程 Flink 有四層轉換流程， 第一層爲 Program 到 StreamGraph； 第二層爲 StreamGraph 到
2020-05-03 00:04:17
原创 14.Flink之數據類型和序列化五星
爲 Flink 量身定製的序列化框架 爲什麼定製? 爲什麼要爲 Flink 量身定製序列化框架？ 大家都知道現在大數據生態非常火，大多數技術組件都是運行在 JVM 上的，Flink 也是運行在 JVM 上，基於 JVM 的數據分析引擎
2020-05-03 00:04:17