Datawhale第十二期組隊學習--Python爬蟲編程實踐 Task04: 大作業：爬取news； 拔高：某乎爬蟲

作業:

1. 瞭解ajax加載
2. 通過chrome的開發者工具，監控網絡請求，並分析
3. 用selenium完成爬蟲
4. 具體流程如下： 用selenium爬取https://news.qq.com/ 的熱點精選

疑問：

• 怎麼判斷一個url請求獲取的數據是通過ajax獲取的，怎麼知道這個真實的url？
• ajax獲取的數據獲取有什麼竅門嗎？
• Beautiful Soup, etree, xpath 怎麼更靈活的混用？

代碼：（沒有達到要求）

def get_page_source():
    # driver = webdriver.Chrome(".chromedriver.exe")
    driver = webdriver.Chrome()
    driver.get("https://news.qq.com/")
    time.sleep(2)
    page_source = driver.page_source
    soup = BeautifulSoup(page_source)
    # print(soup.prettify())
    ele_list = soup.select('.detail > h3 > a')
    # print(ele_list)
    for ele in ele_list:
        print(type(str(ele)), str(ele))
        # print(etree.HTML(str(ele)).xpath('text()'))

get_page_source()