爬蟲代碼,網頁需要點擊翻頁的selenium

網頁是需要翻頁的,利用selenium庫實現

代碼:

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

tageturl='www.'


browser = webdriver.Chrome()
browser.get(tageturl)
time.sleep(5)
#print(browser.page_source)
page=browser.find_elements_by_class_name("page_zoom_panel")#要爬取的那一class
print(page[0].get_attribute("src"))#提取該類下的屬性sec值,即爲爬取鏈接
fanye=browser.find_element_by_class_name("icon-epub-right")#翻頁的按鈕對於的網頁源代碼
fanye.click()#翻頁鼠標點擊操作
browser.close()#關閉瀏覽器頁面

圖片爬取下載代碼:

import requests
import os
url='http:.....8bf730c659214879e9f37c5f2d.jpg'
root = 'D://bookpic//'#定義保存本地的根目錄
path=root+url.split('/')[-1]#將文件名稱與網絡名相一致
try:
	if not os.path.exists(root):#判斷該根目錄是否存在,若不存在則創建
		os.mkdir(root)
	if not os.path.exists(path):#判斷該文件是否存在,若不存在則獲取
		r=requests.get(url)
		with open(path,'wb') as f:
			f.write(r.content)
			f.close
			print('圖片保存成功')
	else:
		print('圖片已經存在')
except:
	print('爬取失敗')

#	

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章