原创 grafana+alertmanager實現微信報警
一、需求 實現網站的流量監控，之前希望通過elk+python+zabbix實現微信報警，需要通過elk的dsl語句查詢，實現起來比較麻煩。 由於grafana的多數據源特性，結合alertmanager實現微信報警。 二、實現
2019-07-09 23:32:09
16
原创 postgresql流複製主從切換+resetxlog
主 192.168.3.46 從 192.168.3.47 現象：由於46主庫的xlog日誌達到7T以上，磁盤空間不足，需要通過pg_resetxlog命令清日誌。 參數修改可參考一下博文 PgSQL · 追根究底 · WAL日誌
2019-07-09 23:32:09
10
原创 nginx後端節點的健康檢查
簡介 本文主要介紹nginx後端節點的健康檢查，在此之前我們先來介紹下nignx反向代理主要使用的模塊。 nginx原生模塊介紹 我們在使用nginx做反向代理都會使用到以下兩個模塊： 1.ngx_http_proxy_module
2018-11-19 23:42:23
原创 centos7 rescue修復"kernel panic - not syncing: Attempted to kill init"
簡介 centos6.5系統中錯誤操作 [root@test ~]$ ll /lib64|grep libc.so.6 /lib64/libc.so.6 -> libc-2.12.so [root@test ~]$ mv libc.s
2018-10-20 07:05:47
56
原创 scrapy爬蟲之item/itemloader機制爬取豆瓣電影top250
簡介 前面的博文網頁的基本解析流程就是先通過 css/xpath 方法進行解析，然後再把值封裝到 Item 中，如果有特殊需要的話還要對解析到的數據進行轉換處理，這樣當解析代碼或者數據轉換要求過多的時候，會導致代碼量變得極爲龐大，從而降低
2018-09-05 06:39:32
原创 scrapy爬蟲之模擬登錄豆瓣
簡介 在之前的博文python爬蟲之模擬登陸csdn使用urllib、urllib2、cookielib及BeautifulSoup等基本模塊實現了csdn的模擬登錄，本文通過scrapy模擬登錄豆瓣，來深入瞭解下scrapy。 豆瓣登錄
2018-09-05 06:39:32
原创 scrapy爬蟲之crwalspider模擬登陸
簡介 前面的幾篇博文都是使用默認basic模版生成的spider，即scrapy.Spider。scrapy所有的spider都繼承自scrapy.Spider，它默認使用start_requests()方法請求start_urls()中
2018-09-05 06:39:32
原创 scrapy爬蟲之抓取《芳華》短評及詞雲展示
簡介 在scrapy爬蟲之《琅琊榜2》話題title收集及詞雲展示 及scrapy爬蟲之模擬登錄豆瓣l 兩篇博文中，我們分別實現了直接爬取內容及模擬登陸豆瓣，現在我們將這兩個功能整合到一起，實現模擬登陸豆瓣並scrapy爬蟲之抓取《芳
2018-09-05 06:39:32
原创 scrapy爬蟲之item pipeline保存數據
簡介 前面的博文我們都是使用”-o *.josn”參數將提取的item數據輸出到json文件，若不加此參數提取到的數據則不會輸出。其實當Item在Spider中被收集之後，它將會被傳遞到Item Pipeline，這些Item Pipel
2018-09-05 06:39:32
原创 zabbix監控華爲服務器硬件狀態
簡介 zabbix監控華爲服務器的硬件是通過iBMC，iBMC系統默認支持V3版本的SNMP服務，SNMP V1和SNMP V2C由於自身機制存在安全隱患，默認是不開啓的。如果使用SNMP V1和SNMP V2C需要配置團體名，而用V3只
2018-09-05 06:39:32
原创 scrapy爬蟲之scrapyd-client管理spider
簡介 Scrapyd作爲守護進程，運行scrapy爬蟲的服務程序，它支持以http/json命令方式發佈、刪除、啓動、停止爬蟲程序。scrapyd可以管理多個project，並且每個project可以有多個版本，但是隻有最新版本被用來運行
2018-09-05 06:39:32
原创 scrapy爬蟲之crawlspide爬取豆瓣近一週同城活動
簡介 本文主要介紹crawlspider爬取豆瓣近一週同城活動。 要點：item／itemloader利用input_processor/output_processor對爬取的數據進行過濾。 實現 爲了演示數據過濾，我們只爬取到第二頁的
2018-09-05 06:39:30
1
原创 scrapy爬蟲之《琅琊榜2》話題title收集及詞雲展示
簡介 最近看微信公衆號上好多文檔關於豆瓣上電影的影評分析的，感覺挺有意思的，就拿《琅琊榜2》也來嘗試下。本文主要是使用scrapy爬取豆瓣上的《琅琊榜2》的話題討論區並用作詞雲展示。至於爲什麼使用scrapy，主要是之前使用過python
2018-09-05 06:39:30
原创 scrapy爬蟲之抓取京東機械鍵盤評論量並畫圖展示
簡介 最近想了解一下機械鍵盤，因此使用scrapy抓取了京東機械鍵盤 並使用python根據店鋪名和評論量進行圖片分析。 分析 在寫爬蟲前，我們需要先分析下京東機械鍵盤的是怎麼訪問的。 1.進入京東，搜索機械鍵盤 #頁面url htt
2018-09-05 06:39:30
原创 zabbix監控服務器部署
1.安裝mysql5.7 cd /App/src rpm -Uvh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm yum install mys
2018-09-05 06:39:30