原创 爬蟲入門之urllib的使用

urllib庫的基本使用 request它是最基本的HTTP請求模塊,可以用來模擬發送請求,就像在瀏覽器中輸入網址,然後敲擊回車鍵一樣,使用的時候只需要給庫方法傳入相關的URL的相關的參數即可. error:異常處理模塊,如果出現

原创 爬蟲入門之分佈式爬蟲

scrapy_redis Scrapy_redis在scrapy的基礎上實現了更多,更強大的功能,具體體現在:reqeust去重,爬蟲持久化,和輕鬆實現分佈式 安裝 pip3 install scrapy-redis 3.

原创 爬蟲入門之scrapy部署

安裝相關庫 scrapyd 是運行scrapy爬蟲的服務程序,它支持以http命令方式發佈、刪除、啓動、停止爬蟲程序。而且scrapyd可以同時管理多個爬蟲,每個爬蟲還可以有多個版本 pip3 install scrapyd s

原创 測試計劃和測試報告

測試計劃包括哪些內容 (1)測試環境:測試環境+生產環境 (2)測試範圍:新增需求+全功能迴歸 (3)測試重點:優先級爲high的 (4)注意事項:開發提供修改點 (5)測試級別:常規啥的 (6)測試方法:功能測試?性能測試 (7

原创 appium自動化總結

adb的構成和工作原理 adb的構成 client端,在電腦上,負責發送adb命令 daemon守護進程,在手機上,負責接收和執行adb命令 server端,在電腦上,負責管理client和daemon之間的通信 adb工作原理

原创 爬蟲入門之多線程與線程池的使用

什麼是線程 python的thread模塊是比較底層的模塊,python的threading模塊是對thread做了一些包裝的,可以更加方便的被使用 1.線程是cpu執行的基本單元 2.線程之間的執行是無序的 3.同一進程下的線程

原创 爬蟲入門之BeautifulSoup4解析器

什麼是BeautifulSoup4 和 lxml 一樣,Beautiful Soup 也是python的一個HTML/XML的解析器,用它可以方便的從網頁中提取數據。 lxml 只會局部遍歷,而Beautiful Soup 是基於

原创 爬蟲入門之pyQuery

什麼是pyQuery pyquery庫是 jQuery 的 Python 實現,能夠以jQuery的語法來操作解析 HTML 文檔,易用性和解析速度都很好 安裝 pip3 install pyquery 注意:由於 pyquer

原创 爬蟲入門之xpath的使用

什麼是xpath XPath即爲XML路徑語言(XML Path Language),它是一種用來在XML文檔中查找信息的語言,可用來在 XML文檔中對元素和屬性進行搜索,同樣也適用於HTML。 什麼是xml? XML 是一

原创 爬蟲入門之request使用

爲什麼使用request: Python的標準庫中 urllib 模塊已經包含了平常我們使用的大多數功能,但是它的 API 使用起來讓人感覺不太好,Requests 繼承了urllib的所有特性,並且API使用更加方便,可以簡化我

原创 urllib

urllib庫的基本使用 request它是最基本的HTTP請求模塊,可以用來模擬發送請求,就像在瀏覽器中輸入網址,然後敲擊回車鍵一樣,使用的時候只需要給庫方法傳入相關的URL的相關的參數即可. error:異常處理模塊,如果出現

原创 Flask框架(10)

flask請求鉤子 Flask的請求鉤子指的是在執行視圖函數前後執行的一些函數,我們可以在這些函數裏面做一些操作。 Flask利用裝飾器給我們提供了四種鉤子函數。 before_first_request:在處理第一個請求前執行。

原创 flask框架(9)

Flask-WTF Flask-WTF是集成WTForms,並帶有csrf令牌的安全表單和全局的csrf保護的功能 使用Flask-WTF需要配置參數SECRET_KEY CSRF_ENABLED是爲了CSRF(跨站請求僞造)保護

原创 Flask 框架(7)

Flask-Script 首先現在安裝Flask-Script擴展: pip install Flask-Script 在程序中導入 from flask_script import Manager 用Manager管理app

原创 Flask框架(8)

一對一模型 跟一對多寫法是一樣的,只是在添加反向引用的需要在裏面加上uselist=False content = db.relationship('Acontent', backref='article', uselist=Fa