1、Selenium
2、Puppeteer
- Puppeteer是谷歌官方出品的一個Node.js,提供了一個高級API來控制DevTools協議上的Chrome或Chromium。Puppeteer默認無界面運行,但可以配置爲運行有界面的Chrome或Chromium
- 安裝步驟1:pip install pyppeteer
- Puppeteer使用:
import asyncio
from pyppeteer import launch
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto("http://example.com")
await page.screenshot({'path': 'example.png'})
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
3、Splash
- Splash是一個異步的JavaScript渲染服務,它是帶有HTTP API的輕量級Web瀏覽器,能夠並行處理多個頁面請求,可以在頁面上下文中執行自定義的JavaScript以及模擬瀏覽器中的點擊、下滑等操作
- 安裝方法1:下載好已經封裝好的Docker鏡像
- 安裝方法2:從Github下載源碼後進行安裝