網頁是需要翻頁的,利用selenium庫實現
代碼:
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
tageturl='www.'
browser = webdriver.Chrome()
browser.get(tageturl)
time.sleep(5)
#print(browser.page_source)
page=browser.find_elements_by_class_name("page_zoom_panel")#要爬取的那一class
print(page[0].get_attribute("src"))#提取該類下的屬性sec值,即爲爬取鏈接
fanye=browser.find_element_by_class_name("icon-epub-right")#翻頁的按鈕對於的網頁源代碼
fanye.click()#翻頁鼠標點擊操作
browser.close()#關閉瀏覽器頁面
圖片爬取下載代碼:
import requests
import os
url='http:.....8bf730c659214879e9f37c5f2d.jpg'
root = 'D://bookpic//'#定義保存本地的根目錄
path=root+url.split('/')[-1]#將文件名稱與網絡名相一致
try:
if not os.path.exists(root):#判斷該根目錄是否存在,若不存在則創建
os.mkdir(root)
if not os.path.exists(path):#判斷該文件是否存在,若不存在則獲取
r=requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close
print('圖片保存成功')
else:
print('圖片已經存在')
except:
print('爬取失敗')
#