原创 SQL server清除錯誤日誌的方法

 發現SQL SERVER 2012的數據庫無法訪問,一直報錯。排查原因,發現數據庫硬盤沒有一點空間了,SQL SERVER有一個錯誤日誌的容量將近128G。在數據庫運行過程中,不能直接通過文件剪貼的方式把這個SQL SERVER 錯誤日誌

原创 MongoDB基本命令用

成功啓動MongoDB後,再打開一個命令行窗口輸入mongo,就可以進行數據庫的一些操作。輸入help可以看到基本操作命令:show dbs:顯示數據庫列表  show collections:顯示當前數據庫中的集合(類似關係數據庫中的表)

原创 mongodb與mysql區別

MySQL是關係型數據庫。   優勢:1、在不同的引擎上有不同 的存儲方式。2、查詢語句是使用傳統的sql語句,擁有較爲成熟的體系,成熟度很高。3、開源數據庫的份額在不斷增加,mysql的份額頁在持續增長。   缺點:1、在海量數據處理的時

原创 Xpath語法

Xpath簡介       XPath即爲XML路徑語言,它是一種用來確定XML(標準通用標記語言的子集)文檔中某部分位置的語言。XPath基於XML的樹狀結構,有不同類型的節點,包括元素節點,屬性節點和文本節點,提供在數據結構樹中找尋節點

原创 python3.7——openssl升級

Python3.7使用的openssl爲1.0.2版本或1.1以上的版本Centos .9安裝openssl 1.1版本 [root@python3_7 soft]# mkdir –p /soft[root@python3_7 soft]#

原创 CentOS 6.5下Zabbix3安裝配置超詳細教程 Zabbix3 Server端安裝

CentOS 6.5下Zabbix3安裝配置超詳細教程Zabbix3 Server端安裝 一.準備階段:1.>關閉防火牆/etc/init.d/iptables stop2.>關閉selinuxvim  /etc/selinux/confi

原创 nagios監控系統環境部署安裝(LAMP環境)

服務器端:IP爲192.168.2.21解決perl編譯問題:echo 'export LC_ALL=C'>> /etc/profilesource /etc/profile關閉iptables:service iptables stopc

原创 Scrapy項目實戰

抓取豆瓣電影top250數據,並將數據保存爲csv,json格式存儲到MongoDB數據庫中,目標URL爲https://movie.douban.com/top250  一、創建項目    進入自定義的項目目錄中,運行scrapy sta

原创 Xpath語法

Xpath簡介       XPath即爲XML路徑語言,它是一種用來確定XML(標準通用標記語言的子集)文檔中某部分位置的語言。XPath基於XML的樹狀結構,有不同類型的節點,包括元素節點,屬性節點和文本節點,提供在數據結構樹中找尋節點

原创 IP代理中間件和user-agent中間件的編寫

在製作爬蟲的時候需要對我們的爬蟲進行僞裝,有兩種僞裝的方式:第一種是通過代理IP,第二種是通過修改user-agent。一、代理IP            二、user-agent    import random     # user a

原创 Python爬蟲框架開發環境簡介和Scrapy安裝

一、開發環境 Centos6.0 Scrapy1.5 Python3.6 Mongodb3.6 Pycharm二、Scrapy1.5安裝 pip install scrapy 如果Python3.6時通過編譯安裝的,先進行如下設置,設置環

原创 爬蟲框架scrapy之MongoDB的安裝

sudo yum -y install mongodb-org安裝問題:    提示No package mongodb-org available。解決方案:編輯Mongodb安裝源vim /etc/yum.repos.d/mongodb

原创 Scrapy的介紹、組件、數據流

一、Scrapy是什麼?    Scrapy是一套基於Twisted的異步處理框架,是純Python實現的爬蟲框架,用戶只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲,用來抓取網頁內容或者各種圖片。二、Scrapy框架Scrapy Engi

原创 Git的學習與使用(十)——Git 服務器搭建

Git 服務器搭建Github 公開的項目是免費的,但是如果你不想讓其他人看到你的項目就需要收費。這時我們就需要自己搭建一臺Git服務器作爲私有倉庫使用。接下來我們將以 Centos 爲例搭建 Git 服務器。1、安裝Git$ yum in

原创 Git的學習與使用(九)——Git 標籤

Git 標籤如果你達到一個重要的階段,並希望永遠記住那個特別的提交快照,你可以使用 git tag 給它打上標籤。比如說,我們想爲我們的 runoob 項目發佈一個"1.0"版本。 我們可以用 git tag -a v1.0 命令給最新一次