使用selenium和PhantomJS來模擬瀏覽器點擊下一頁,獲取頁面數據進行抓取分析
用python寫爬蟲的時候,主要用的是selenium的Webdriver來獲取頁面數據
使用webdriver需要安裝對應瀏覽器的driver,並加入到環境變量中
from selenium import webdriver
driver = webdriver.PhantomJS() 使用PhantomJS瀏覽器創建瀏覽器對象
driver.get("https://www.douyu.com/directory/all") 使用get方法加載頁面
driver.find_element_by_class_name("shark-pager-next").click() class="shark-pager-next"是下一頁按鈕,click() 是模擬點擊
利用BeatuifulSoup 對頁面信息進行提取
模擬點擊時需要安裝 https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-windows.zip
python 開發之selenium
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Python3高级核心技术97讲
wy53780
2020-04-23 15:37:39
python網絡爬蟲
aabcdqt
2019-05-06 20:35:05
Python與家國天下
豌豆花下貓
2019-02-24 22:22:40
seaborn 安裝成功 + ImportError: DLL load failed: 找不到指定的模塊 問題解決
耗子
2019-02-24 19:55:04
使用 Sphinx 撰寫技術文檔並生成 PDF 總結
qiwihui
2019-02-24 16:25:14
Python實現二叉樹相關算法
backbp
2019-02-24 15:35:06
Ubuntu16.04安裝Python3.7及其pip3並切換爲默認版本
ipromise
2019-02-24 14:15:00
Python2+Selenium入門05-關於WebElement類
白雪
2019-02-24 13:45:04
Python——數據類型
陳晨工程師
2019-02-24 13:43:55
Python 操作PDF庫介紹之PDFMiner
iCloudEnd
2019-02-24 13:39:59
Python reportlab 之 draw函數介紹
iCloudEnd
2019-02-24 13:39:59
Python reportlab之pdfgen 介紹(含代碼)
iCloudEnd
2019-02-24 13:39:59
Python手繪圖瞭解一下!
python攻城獅
2019-02-24 13:34:06
Python繪製圖表【matplotlib】
流域哈哈
2019-02-24 13:20:58
Python2+Selenium入門04-關於WebDriver類
白雪
2019-02-24 12:45:06