原创 第二章urllib數據挖掘2.1第一個爬蟲

2.1第一個爬蟲 from urllib import request#導入urllib庫中的request模塊 #“r"的作用是以免出現轉義字符,url是爬取的網頁地址 url = r'https://www.baidu.com

原创 第二章 urrlib數據挖掘 2.8異常處理

在爬蟲過程中我們難免會出現很多錯誤,但是對於一些不是很重要或者你想快速知道出錯的原因,我們可以利用異常處理 首先用一段代碼運算一下: 例如我們想訪問多個網址,但是我們不想中途停下來 import urllib.request as

原创 第一章 urllib數據挖掘 2.2構造請求頭僞造成瀏覽器等

2.1構造請求頭僞造成瀏覽器等` from urllib import request import re#導入正則表達式 url = r'https://www.baidu.com/' #構造請求頭 header={"User

原创 樹莓派GPIO控制/使用的教程

樹莓派GPIO控制/使用的教程介紹使用說明(一)導入庫(二)設置編碼規範(三)引腳設置(四)電平控制(五)讀取引腳的輸入狀態(六)釋放GPIO資源(七)示例代碼(八)PWM設置 一個樹莓派小白,對GPIO的使用一無所知,不斷的在網

原创 用樹莓派打造攝像頭服務器

這裏寫目錄標題1.下載motion軟件2.查看攝像頭是否插入樹莓派且是否正常3.編輯文件4.查看攝像頭內容 1.下載motion軟件 sudo apt-get install motion 2.查看攝像頭是否插入樹莓派且是否正

原创 第一章 urllib數據挖掘 2.4自定義opener

2.4自定義opener` #自定義opener #我們使用的urlopen 就是一個特殊的opener(模塊幫我們構建好的) #但是基本的urlopen()方法不支持代理(使用其他IP進行訪問,以免被追蹤)、cookie等其他的

原创 第一章 urllib數據挖掘 2.3何構建多個User-Agent

2.3如何構建多個User-Agent from urllib import request import random import re#導入正則表達式 url = r'https://mini.eastday.com/?qi

原创 第一章:初識爬蟲1.1課程概要

標題1.1課程概要 爬蟲:爬取互聯網上的信息 爬蟲可以幹什麼? 日常生活中比如我們去淘寶看衣服,但是我們想快速找其中物美價廉的商品,於是我們很多人去翻查一個一個的頁面去對比質量評價及價格等信息,這種通過人工手動的方法去查找

原创 第二章 urllib數據挖掘(爬蟲有道翻譯及關於AttributeError: module 'urllib.request' has no attribute 'parse'的問題)

爬取有道,一開始運行以下代碼出現了AttributeError: module ‘urllib.request’ has no attribute 'parse’的問題 from urllib import request #im

原创 第二章 urllib數據庫挖掘2.5使用代理IP

2.5使用代理IP import random from urllib import request #反爬蟲1:判斷請求是否是瀏覽器 #反爬蟲2:判斷請求來源的IP #應對措施:使用代理IP proxylist = [

原创 第一章 初識爬蟲1.4Get與Post請求

1.4Get與Post請求 get是從服務器上獲取信息,post是向服務器傳送數據 get請求參數顯示,都顯示在瀏覽器的網址上,HTTP服務器根據該請求所包含URL中的參數來產生響應內容,即“GET”請求的參數是URL的一部分。

原创 第二章 urllib數據挖掘 2.6貼吧實戰

2.6貼吧實戰 from urllib import request #請求網頁頁面,並返回相關內容 def loadpage(url,filename): print("正在下載內容"+filename) hea

原创 如何安裝Python所需要的pygame庫

pygame框架支持一個函數庫,就是snaps庫,利用snaps函數,我們可以在程序中方便添加文本、圖像和聲音。 Windows系統關於下載pygame: 1.Windows桌面的左下方右擊Windows Start鍵 2.出現

原创 樹莓派與繼電器控制家用風扇

最近對繼電器的使用挺好奇的,所以研究了好幾天,但是但是不知道控制什麼電器好,突然發現家裏的小風扇挺合適的,所以就搞了起來。 通過樹莓派控制控制繼電器來控制小風扇1.繼電器的使用方法受控端(上面寫着NO,COM,NC)的一端控制端(

原创 關於安裝Pycharm出現if you already have a 64-bit JDK及Failed to create JVM.JVM path的問題

本來想按照軟件安裝管家的方法更新一下Pycharm到2019中文版的,誰知道下載安裝後打開不了,出現了一下問題,整整搞了兩天,各種百度,太難了。 後來才知道可能是沒有刪除一些文件文件的原因,正確的刪除方法如下: 1.打開電腦設置