原创 playbook自動安裝kafka集羣

一、環境說明1、服務器信息 172.21.184.43 kafka、zk 172.21.184.44 kafka、zk 172.21.184.45 kafka、zk 172.21.244.7 ansible 2、軟件版本信息 系統:Ce

原创 Mongodb性能壓測

一、背景 這幾天對所有的基礎組件做一個摸底的基準壓力測試,目前我們所有的開源基礎組件都沒有做過性能測試,經常有開發人員問,我們的RDS、MongoDB集羣能抗多大量呀,這個時候我是沒辦法回覆的,因爲我自己也不知道,雖然一個數據庫集羣能抗多大

原创 Redis異構集羣數據實時遷移

背景 由於歷史原因,公司的緩存方案使用的是Codis,並且一個大部門公用一個集羣,我們計劃廢棄Codis,用Redis原生的集羣架構,爲什麼要廢棄Codis呢,主要有兩個原因:1、Codis官方已經很久沒有更新維護了,Redis官方版本已經

原创 RocketMQ企業級部署方案

背景 公司很多業務在使用RocketMQ,前期業務量小,沒啥問題,也沒有太關注集羣的可用性這塊,所以全公司的業務公用一個集羣,隨之公司的業務量增加,業務對RocketMQ集羣依賴越來越重,開始思考集羣拆分,風險分攤;開始想的是按部門劃分,一

原创 etcd集羣備份恢復

一、備份此備份方式是藉助 etcd的snapshot功能做備份,需要時可以把etcd集羣回滾到具體備份的時間點,此備份是基於etcd api 3版本的備份,如果數據是用api 2版本寫入的,則api 2版本寫入的數據無法恢復1、備份 ETC

原创 MongoDB分片集羣部署詳解

這篇文章主要介紹了MongoDB分片集羣部署詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨着小編來一起學習學習吧  一、環境說明 1、我們prod環境Mongo

原创 MongoDB分片集羣部署

一、環境說明 1、我們prod環境MongoDB的集羣架構是做的分片集羣的部署,但是目前我們沒有分片,即所有數據都在一個分片上,後期如果數量大,需要分配,集羣隨時可以分片,對業務方透明2、各個角色的部署情況 角色 IP 端口 複製集名

原创 RAID10和RAID5性能測試對比

一、環境1、軟件系統版本:CentOS release 6.5 (Final)內核版本:2.6.32-431.20.3.el6.x86_642、硬件CPU:CPU E5-2620 24核內存:8G*8硬盤:300G*24、300G*14、3

原创 redis集羣實戰

一、說明    redis 3.0集羣功能出來已經有一段時間了,目前最新穩定版是3.0.5,我瞭解到已經有很多互聯網公司在生產環境使用,比如唯品會、美團等等,剛好公司有個新項目,預估的量單機redis無法滿足,開發又不想在代碼層面做拆分,所

原创 mongodb安裝

1、配置yum源vim /etc/yum.repos.d/CentOS-Base.repo [mongodb-org-2.6] name=MongoDB 2.6 Repository baseurl=http://downloads-di

原创 codis集羣部署實戰

一、概要1、折騰codis集羣已經快兩個月了,感謝一直以來codis的作者劉奇和黃東旭的耐心支持,在這裏給你們點個贊,現在我司已經有一個業務跑在了codis集羣上,目前只是切了整個業務的10%的量,預計下週會全量切到codis上,這個時候大

原创 RabbitMQ集羣

一、前言     線上的 RabbitMQ用的是單節點,前段時間由於機器內存不足,發生了OOM,業務受到了影響,故打算換成 RabbitMQ集羣。RabbitMQ模式有三種,分別是:單一模式、普通模式、鏡像模式,鏡像模式纔是RabbitMQ

原创 mongodb用戶權限管理

1、添加一個管理賬號mongo --host 127.0.0.1 --port  27000 use admin db.addUser('admin','123456')2、通過賬號登陸mongo --host 127.0.0.1 --po

原创 Flashcache初次體驗

一、簡介Flashcache 是爲Linux操作系統開發的塊設備回寫緩存內核模塊,使用了Device Mapper的方式實現,具體用途就是通過flashcache模塊用ssd加速sas盤的讀寫性能,提供sas盤的IOPS,此模塊由Faceb

原创 kafka監控實戰(jmxtrans+InfluxDb+Grafana)

一、前言     從上週一直在調研找一款好用的kafka監控,我測試使用過的KafkaOffsetMonitor、Burrow、kafka-monitor、Kafka-Manager,他們各有優缺點,具體情況我這裏就不展開描述了,大家可以到