原创 kafka清理數據
由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況爲了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日誌，中間關聯的很多東西需要手動同時去清理，
2019-05-13 17:32:08
原创 監控kafka隊列狀態
目的：zabbix監控kafka隊列情況 UserParameter=kafka.check[*],/home/admin/sbin/kafa_check.sh $1 監控腳本： #!/bin/bash #/opt/kafka/bin/k
2019-05-09 19:52:04
原创 統計nginx日誌
目的：統計某段時間nginx日誌中的訪問IP等相關信息 #!/bin/bash for i in `seq -w 0 59` do sum=0 echo -n "Time:2019-04-22 15:$i " e
2019-05-08 16:43:28
原创 工作中監控訂單同步具體情況
目的：日常工作中爲了知道個地市分公司訂單同步情況，自己寫了一個zabbix監控的腳本，詳細訂單同步數據詳情通過sql語句在數據庫中查詢結果，然後直接調用 #!/bin/bash ##監控訂單同步狀態## ##從生產數據庫中獲取訂單提交
2019-05-08 16:43:28
原创 使用SED,GREP 批量修改文件內容
使用sed命令可以進行字符串的批量替換操作，以節省大量的時間及人力； 使用的格式如下： sed -i "s/oldstring/newstring/g" `grep oldstring -rl path` 其中，oldstring是待被
2019-04-29 15:48:56
原创 RabbitMQ進階/管理/配置
RabbitMQ簡介 消息隊列中間件有兩種傳遞模式：點對點 和 發佈/訂閱 點對點依靠隊列的原理；發佈/訂閱則可以用於一對多的廣播 消息中間件的作用：解耦、冗餘(存儲)、擴展性、削峯、可恢復性、順序保證、緩衝、異步通信 RabbitMQ的
2019-04-19 03:12:10
1
原创 RabbitMQ高階/網絡分區/消息追蹤/負載均衡
RabbitMQ高階 RabbitMQ實現原理 存儲機制 持久化的消息到達時就寫入磁盤，如果可以在內存中也會保存一份備份，以提高一定性能 非持久化消息到達時在內存中，當內存吃緊時，會被換入磁盤 消息包括消息體、屬性和headers $RA
2019-04-19 03:12:10
4
原创 RabbitMQ集羣/監控/Federation/Shovel
RabbitMQ運維 集羣搭建 單臺RabbitMQ服務器可以滿足每秒1000條的消息吞吐量 RabbitMQ集羣不能保證消息的萬無一失，即使將消息、隊列、交換器等都設置爲可持久化，生產端和消費端都正確地使用了確認方式。 集羣中所有節點都
2019-04-19 03:12:10
55
原创 ES健康狀態red問題處理
之前一直運行正常的數據分析平臺，最近一段時間沒有注意發現日誌索引數據一直未生成，大概持續了n多天，當前狀態: 單臺機器, Elasticsearch（下面稱ES）單節點(空集羣),1000+shrads, 約200G大小。 問題排查 服務
2019-04-04 03:03:49
原创 Redis內存模型
一、前言 redis五種對象類型：字符串、哈希、列表、集合、有序集合 二、redis內存統計 在客戶端通過redis-cli連接服務器後，通過info命令可以查看內存的使用情況：info memory 其中，info命令可以顯示redi
2019-03-19 02:57:46
原创 tomcat高版本對url中特殊符號限制的解決方法
背景：研發反饋，在頁面點擊上傳execl功能，上傳文件的時候，tomcat直接拒絕了，顯示是url中含有相關的字符 解決： 在server.xml中設置如下即可 <Connector port="8084" protocol="HTTP
2019-03-07 19:51:47
2
原创 ansible安裝部署配置和常用模塊
ansible軟件介紹 1. ansible是一個基於python開發的自動化運維工具！（saltstack） 2. 其功能的實現是基礎SSH遠程連接服務的 3. ansible可以實現批量系統配置、批量軟件部署、批量文件拷貝、批量運行命
2019-03-07 19:51:47
原创 跟換npm源地址
有很多方法來配置npm的registry地址，下面根據不同情境列出幾種比較常用的方法。以淘寶npm鏡像舉例： 1.臨時使用 npm --registry https://registry.npm.taobao.org install ex
2019-03-07 19:51:47
原创 KONGA配置
安裝KONGA 安裝nodejs和git，安裝kong的文檔中已經安裝了，版本>=8，git運行 Centos安裝git yum install git -y yum install -y git 需要注意版本，git --versi
2019-03-07 19:51:47
88
原创 Centos7單機部署kong
Centos7單機部署kong文檔步驟 前置步驟：已安裝jdk1.8和tomcat 部署環境：centos7 目標任務：kong: v0.14.x， postgresql: v10.5(注意：psql版本必須與kong版本對應) 耗時任務
2019-03-03 14:11:05
5