做python爬蟲測試。找了一個比較好測試的網站,基於selenium+PhantomJS填寫表單在提交獲取結果的功能。結果比較清晰顯而易見,簡單測試纔好。
至於開發的環境:
環境是windows,python版本爲3.5.2。selenium+PhantomJS搭建步驟參考:http://blog.csdn.net/u014175572/article/details/54427525
1、分析網站頁面
瀏覽器中輸入http://www.vvjob.com/
得到搜索框的id爲search_jobs,這就足夠了。
2、代碼編寫:
# coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.PhantomJS()
driver.get('http://www.vvjob.com/')
elem = driver.find_element_by_id('search_jobs')
elem.send_keys(u'php')
elem.send_keys(Keys.ENTER) #點擊鍵盤上的Enter按鈕
print('頁面標題:', driver.title) # 頁面標題
print(driver.current_url) # 當前頁面url
print('搜索後的頁面源碼:\n', driver.page_source) # 頁面源碼
3、得到輸出結果:
對比瀏覽器上輸入php的信息,得到的結果和輸出的源碼是一致的。