原创 開發測試環境通過gitlab+jenkins+docker 實現一命令部署

開發測試環境的CI/CD 拓撲圖,程序員端執行git push之後,gitlab 的webhook 會觸發Jenkins上的任務,jenkins 在開發測試環境執行已定義好的shell 腳本,腳本執行git pull 把最新的代碼拿到本地,

原创 ELK 之前端 nginx+elasticsearch+ kibana 部署

之前有導讀部分內容,介紹了elk的及kafka的前世今生及優點,各位客官可以點擊這裏訪問,歡迎大家批評指正交流學習共同進步;(http://blog.51cto.com/seekerwolf/2085891)OS:Centos 7 ELK

原创 Centos 7 部署ELK Stack+beats+kafka --導讀

Centos 7 部署ELK Stack+beats+kafka整體的架構如下圖:介紹篇:日誌的定義:日誌是帶時間戳的基於時間序列的機器運行數據,包括硬件(服務器,網絡設備,存儲設備,IOT設備),系統(Linux&windows&dock

原创 ELK 服務端程序啓停自動管理工具之supervisor

一,說說前因後果 說說痛點,elasticsearch,kafka,zookeeper,kibana,elasticsearch-head,logstash,logstash是需要經常重啓的,你上了點過濾規則或者修改點啥的,每次都尼瑪殺進程

原创 Python 5 行代碼告別備份痛苦時代

應用源自需求 我是個照片狂,自從買了單反之後更加是這樣了!我的硬盤理所當然的就不夠用了,所以每次備份都是件很痛苦的事情!於是想到了自己動手魯一個能夠幫忙自動搞定這事的程序,正好在學習Python,於是就用python調用 robocopy

原创 open*** 客戶端windows 上自動安裝部署腳本

1, 從網上上下載open***安裝包的包2, 解壓新建文件夾,把安裝包和bat 腳本及配置文件同時放到一個文件夾內;3, 進入該文件夾之後,會看到如下內容,xxxx 是你客戶端配置文件所在文件夾你需要自定義,右鍵編輯install.

原创 ELK 之Filebeat 結合Logstash 過濾出來你想要的日誌

先扯點沒用的 收集日誌的目的是有效的利用日誌,有效利用日誌的前提是日誌經過格式化符合我們的要求,這樣才能真正的高效利用收集到elasticsearch平臺的日誌。默認的日誌到達elasticsearch 是原始格式,亂的讓人抓狂,這個時候你

原创 ELK 之數據收集傳輸過濾 Filebeat+Logstash 部署

本文與前文是有關聯的,之前的兩篇文章客官可以擡腿出門右轉 導讀,ELK 之前端,ELK 之分佈式發#前端和消息隊列搞定之後,我們需要安裝數據採集工具filebeats和數據過濾機運輸工具Logstash,一般情況我們都使用filebeats