原创 MongoDB compact 命令詳解【轉載】
爲什麼需要 compact一圖勝千言remove 與 drop 的區別MongoDB 裏刪除一個集合裏所有文檔，有兩種方式db.collection.remove({}, {multi: true})，逐個文檔從 btree 裏刪除，最後所
2019-12-16 14:12:35
14
原创 通過 esrally 壓測elasticsearch
需要安裝的軟件：python3git版本高於1.9python3的安裝，忽略，很簡單git源碼編譯安裝：https://mirrors.edge.kernel.org/pub/software/scm/git/ tar xf git-2.2
2019-12-08 13:58:07
1
原创 使用 gor 複製真實流量壓測ES集羣
生產環境下， 我們一般使用 esrally來做es的基準測試。 但是畢竟和真實生產的請求場景可能有差異的。 因此，有必要考慮使用真實流量來壓測ES集羣。常用的流量複製工具有tcpcopy之類的，這裏我們介紹一個更簡單易用的工具 gor 。T
2019-12-08 13:58:07
原创 避免 proxysql 跟後端建立過多連接的方法
2019-11-18原文地址： https://www.percona.com/blog/2019/09/27/multiplexing-mux-in-proxysql/直接上我在生產環境的配置過程：登錄到proxysql集羣的任意節點的管
2019-11-21 14:08:45
2
原创 單機上快速搭建pxc測試集羣
https://www.percona.com/blog/2019/10/15/how-to-start-a-3-node-percona-xtradb-cluster-with-the-binary-tarball-package/工作或
2019-11-17 14:06:20
原创 使用aliyun-exporter採集阿里雲的數據
參考文檔：https://partners-intl.aliyun.com/help/doc-detail/28619.html?spm=a3c0i.10721930.0.0.63d53d98TZJj5Uhttps://www.alibab
2019-10-31 14:14:57
39
原创 Prometheus遠端數據存儲方案之PostgreSQL
今天看到德哥分享的基於postgresql的prometheus數據遠端存儲方案，於是有了本文的實驗。通常，prometheus的外置存儲方案有好幾種選擇，例如influxdb，m3db， es，postgresql。m3db一般在雲原生環
2019-10-29 14:13:30
12
原创 使用tunnel同步PG數據到kafka
tunnel同步PG數據到kafka來自哈羅單車開源的組件。支持同步PG數據到kafka或者ES。 https://github.com/hellobike/tunnel tunnel整體的部署比較簡單的需要事先部署好zk和kafka（我下
2019-10-25 13:58:46
原创 基於binlog的離線分析平臺的一些初步實踐
基於binlog的離線分析平臺的一些初步實踐 參考文檔： http://quarterback.cn/%e9%80%9a%e8%bf%87kafka-nifi%e5%bf%ab%e9%80%9f%e6%9e%84%e5%bb%ba%e5%b
2019-10-25 13:58:46
1
原创 PG從庫查詢被終止的解決辦法
說明： 以下大部分內容來自 《PostgreSQL實戰》 PG流複製場景下，默認配置下， 如果在PG從庫執行長時間的查詢，會出現查詢的報錯。提示ERROR: canceling statement due to conflict with
2019-10-23 13:58:14
原创 PG的延遲複製及相關參數的設置影響
說明： 下文的部分內容節選自《PostgreSQL實戰》PG的延遲複製參數： recovery_min_apply_delay 某些情況下，一個後備服務器會盡快恢復來自於主服務器的 WAL 記錄。有一份數據的延時拷貝是有用的，它能提供機會糾
2019-10-20 13:59:43
原创 PostgreSQL11 編譯支持JIT功能
JIT just-in-time 即時編譯功能 JIT在大數據集的查詢條件下，可能迅速提升查詢速度的作用。但是它也不是任何情況下都能提效的，可以參考這篇 https://www.postgresql.org/docs/11/jit
2019-10-19 14:00:16
1
原创 使用 redis-shake 遷移 redis-cluster集羣
使用 redis-shake 遷移 redis-cluster背景： IDC上雲， 有2套redis-cluster需要遷移到雲上。 這裏我們使用 redis-shake 來做遷移操作。模擬機房集羣(圖是我後截的，圖上已經有key了)
2019-10-19 14:00:16
1
原创 全局id生成器試用之Leaf
數據量上來後，單庫單表承受不住的時候，我們就需要引入分庫分表。 但是分庫分表後，主鍵id就不能依賴於MySQL，需要從外部去獲取id。目前我們生產環境在用的DBLE作爲中分庫分表中間件， 其自帶了類似snowflake方案的全局id生成器，
2019-10-13 13:58:35
原创 prometheus使用釘釘告警
prometheus自帶的郵件告警，有可能被淹沒在日常郵件中。 因此建議再配一個webhook類的告警通道。 如果爲了靈活性，我們可以自己寫webhook，例如 可以實現不同規則的告警通知到不同的接收人、某些時間段的告警靜默等 。 如果要求
2019-09-20 13:41:43
2