原创 Kafka核心API——Consumer消費者

Consumer之自動提交 在上文中介紹了Producer API的使用,現在我們已經知道如何將消息通過API發送到Kafka中了,那麼現在的生產者/消費者模型就還差一位扮演消費者的角色了。因此,本文將介紹Consumer API的使用,使

原创 Kafka核心API——Stream API

Kafka Stream概念及初識高層架構圖 Kafka Stream是Apache Kafka從0.10版本引入的一個新Feature,它提供了對存儲於Kafka內的數據進行流式處理和分析的功能。簡而言之,Kafka Stream就是一個

原创 Kafka核心API——AdminClient API

五類Kafka客戶端作用和區別 在上文中介紹瞭如何搭建一個Kafka服務,那麼在開發中我們要如何去訪問、集成Kafka呢?這就需要使用到本文將要介紹的Kafka客戶端API。下圖是官方文檔中的一個圖,形象表示了能與Kafka集成的客戶端類型

原创 Kafka的安裝與配置

Kafka的自我介紹 很多人都認爲Kafka是一個消息隊列,實際上並不完全對,在官網的標題中使用了一句話來描述Kafka: A distributed streaming platform(一個分佈式的流平臺) 所以在本質上來講,Kaf

原创 CentOS8更換yum源後出現同步倉庫緩存失敗的問題

問題起因:一開始CentOS 8默認的yum源是能夠正常使用的,但使用如下命令安裝了Development Tools之後: yum groupinstall -y "Development Tools" 不知道爲啥就開始出現同步倉庫緩存失

原创 在CentOS8下搭建PXC集羣

PXC簡介 PXC是Percona XtraDB Cluster的縮寫,是 Percona 公司出品的免費MySQL集羣產品。PXC的作用是通過mysql自帶的Galera集羣技術,將不同的mysql實例連接起來,實現多主集羣。在PXC集羣

原创 基於MMM搭建MySQL Replication集羣高可用架構

MMM介紹 MMM是Multi-Master Replication Manager for MySQL的縮寫,它是MySQL提供的一個多主複製管理器,其核心是使用perl語言編寫的一組腳本。實際上MMM是比較早期甚至有點老的一種用於構建高

原创 Mycat 整合 MySQL 8.x 踩坑實踐

Mycat 目前還未全面支持MySQL 8以上的版本,可能會導致一些問題,例如Mycat連接MySQL 8時可能會報密碼錯誤,因爲新版的密碼加密方式與舊版不一樣。還有就是時區問題,新版的連接方式需要增加時區參數。除此之外,可能還會有一些其他

原创 關於數據庫的各種備份與還原姿勢詳解

數據庫的冷備份與熱備份 數據導出不完全等於數據備份: 數據導出是指將數據庫中的數據逆向成SQL語句進行導出,所以導出的是SQL文件。通常用作把數據從一個系統遷移到另一個系統,目的是屏蔽系統之間的差異性 數據備份是指將數據庫中數據存儲的相

原创 當刪庫時如何避免跑路

延時節點解決方案 刪庫跑路也是個老梗了,可見在運維數據庫的過程中誤刪除數據,或者開發的代碼有bug,造成數據的誤刪除屢見不鮮。不過現在也有許多用於恢復或預防誤刪除的方案,例如SQL管理系統,將要執行的SQL先交由管理員審覈,然後由管理員備份

原创 安裝Percona Server數據庫(in CentOS 8)

在CentOS8下搭建PXC集羣一文中,介紹瞭如何搭建Percona Server集羣。實際上PXC的安裝包已經捆綁了Percona Server,所以在安裝時會屏蔽Percona Server的一些細節。但有時候可能會單獨用到Percon

原创 Mycat 核心配置詳解

先上官方文檔: Mycat-doc Mycat 權威指南 常用配置文件間的關係 由上圖可以看到 Mycat 的核心配置文件均採用xml格式,這幾個配置文件的用途如下: server.xml:用於配置系統參數、用戶信息、訪問權限及S

原创 基於MHA搭建MySQL Replication集羣高可用架構

MHA架構介紹 MHA是Master High Availability的縮寫,它是目前MySQL高可用方面的一個相對成熟的解決方案,其核心是使用perl語言編寫的一組腳本,是一套優秀的作爲MySQL高可用性環境下故障切換和主從提升的高可用

原创 Mycat 快速入門

什麼是Mycat 至於什麼是Mycat,可能在不同的角色下有不同的理解。對MySQL架構有過了解的話,都知道MySQL實際上是由Server層和存儲引擎層組成的。所以對於DBA來說,Mycat 就是 MySQL 的Server層。而 Myc

原创 SkyWalking - 實現微服務監控告警

[TOC] 關於SkyWalking的基礎使用參考: 基於 SkyWalking 實現服務鏈路追蹤 官方文檔: SkyWalking 文檔中文版(社區提供) Apache SkyWalking 官方文檔 SkyWalking 告警