【Python爬蟲】基本原理和框架

開發者工具介紹

參考：https://blog.csdn.net/m0_37724356/article/details/79884006
右擊網頁-檢查，或者F12，打開網頁開發者工具

get方式將請求的參數包含在url裏面，post方式則在url中隱藏信息，而在"Form data"中


相當於請求的配置信息，User_agent用於判斷是否合法




響應體就是我們想獲取的內容

獲取響應內容：

1、抓取網頁文本

#抓取網頁文本
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}#請求頭
url='http://www.zhihu.com'#請求url
response=requests.get(url,headers=headers)#獲得響應
print(response.status_code)#獲取響應狀態
print(response.headers)#獲取響應頭
print(response.text)#獲取響應體

2、抓取二進制文件

#抓取圖片、視頻的二進制文件
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}#請求頭
url='https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/newmusic/img/default_8a5b42b2.png'#請求url
response=requests.get(url,headers=headers)#獲得響應
#將響應體保存
with open('extract_test.gif','wb') as f:#wb模式：二進制模式的寫入,直接存入到指定格式即可
    f.write(response.content)

用selenium的webdriver解決javascript渲染問題：

from selenium import webdriver
driver=webdriver.Chrome()#控制瀏覽器
driver.get('http://www.zhihu.com')#加載網頁
print(driver.page_source)#打印網頁已經渲染好的信息