原创 graphite在centos7上的部署搭建

Graphite安裝筆記實驗環境： CentOS7.5 x64部署python的程序推薦使用virtualenv這列的虛擬環境來進行，防止污染系統自帶的python包。 安裝一些必要的rpm包yum install cairo  -- 另外

2019-09-15 13:43:22

原创 使用go-mysql-postgresql實現 MySQL實時同步數據到PG

MySQL to PG 的數據同步，可以通過canal 或者 bireme 來做，但是操作起來步驟都比較費事。之前公司的同事，在go-mysql-elasticsearch的基礎上，改了一下，將target從es改爲了pg，工具名稱叫做go

2019-09-15 13:43:22 8

原创 使用Prometheus監控DBLE

DBLE是一款基於MyCAT改進的MySQL分庫分表中間件，但是並沒有一個配套的監控軟件。這裏我分享下我們生產/測試環境在使用的監控方法需要用到的軟件：Prometheus、 pushgateway、grafana、【alertmanage

2019-09-15 13:43:21

原创 一種基於proxysql的數據脫敏思路

背景：我們這邊給研發查數據的是通過phpmyadmin進行的，通常情況下研發人員查數據寫法是 select * from db1.tb1 where id=xxxx 。脫敏的思路：通過proxysql對 關於testdb.t_user 表的

2019-06-23 13:36:16 4

原创 MyCAT plus之DBLE 進階視頻

MyCAT目前看基本上處於不活躍狀態了，市面上愛可生公司在MyCAT1.6的基礎上，修改衍生出了DBLE 這款中間件。用下來還不錯，文檔之類的也比較完善。前段時間他們還出了個DBLE的相關視頻，對DBLE的運維做了很深入的介紹，值得一看。優

2019-06-23 13:36:16 8

原创 單機mongodb轉爲複製集的操作步驟

由於歷史原因，生產環境的幾臺mongodb都是單機在運行，考慮到宕機等不確定的風險，需要給他們做一下高可用。mongodb原生的複製集方案非常簡單好用。下面，就是相關的測試環境實驗筆記。。。。單機mongodb轉爲複製集的操作步驟：Mong

2019-06-21 13:59:47 1

原创 shell腳本檢測https證書有效期

申請的https證書越多，管理起來越容易出問題，因此有必要添加定期巡檢的腳本（當然，首先要把https證書的申請權限收口到運維側統一管理，不然還是無法根治問題）#!/bin/bash # 檢測https證書有效期 source /etc/

2019-06-19 13:44:14

原创 aProxy: 帶認證授權和權限控制的反向代理

文章地址:  https://www.cnblogs.com/QLeelulu/p/aproxy.html這個小工具非常好用，對於有需要暴露到外網的服務，很實用。另外，推薦這個替代cronjob的工具，https://zhang.ge/51

2019-06-11 13:36:19 1

原创 ES5.5 裏面， 通過API 設置 不同索引 採用 不同的shard數量的方法

默認情況下， 每個索引是拆分成5個shards ，但是如果某個索引下數據量特別的大，就比較費事了。 如果恰巧這個index 落到某個小磁盤的ES節點可能就爆掉了。 官方文檔： https://www.elastic.co/guide/en/

2019-03-08 13:15:20 2

原创 dbdeployer MySQL沙盒部署詳解

dbdeployer  MySQL沙盒部署詳解git地址： https://github.com/datacharmer/dbdeployer dbdeployer是go語言版實現的sandbox，和sandbox同一個作者。DBdeplo

2019-03-06 13:19:29 8

原创 redis 大key分析工具2 rdb_bigkeys

工具地址： https://github.com/weiyanwei412/rdb_bigkeys編譯方法：mkdir /home/gocode/export GOPATH=/home/gocode/cd $GOROOTgit clone

2019-03-05 13:24:41 1

原创 數據庫相關中間件介紹

https://www.cnblogs.com/grefr/p/6087942.html#top 這裏主要介紹互聯網行業內有關數據庫的相關中間件。數據庫相關平臺主要解決以下三個方面的問題：爲海量前臺數據提供高性能、大容量、高可用性的訪問爲數

2019-02-22 21:45:09

原创 mailx(mail)配置outlook SMTP方式發送郵件

轉載文章。 因爲目前數據庫備份腳本缺少告警機制，告警平臺還沒完善，因此臨時用郵箱告警。outlook郵箱的告警比較噁心，搜了好久終於找到這篇博客。0x01，環境介紹：我們用的是微軟的郵箱打算用SMTP方式發送郵件。先登錄賬戶看官方給出SMT

2019-02-22 21:45:08 2

原创 redis4的自動內存整理

redis4裏面自帶了內存整理，可以避免內存碎片率過大的問題。使用命令： config set activedefrag yes執行完上面的命令後，稍等片刻再查看碎片率：redis-cli -p 6379 info | grep ratio

2019-02-22 21:44:54 2

原创 proxysql 開啓http監控頁面的方法

官方文檔地址： https://proxysql.com/blog/proxysql-http-server-initial-releaseSET admin-web_enabled='true';LOAD ADMIN VARIABLES

2019-02-22 21:44:54 5