requests.get爲什麼得到的內容和查看源文件不一樣?

由於初學爬蟲 嘗試着在beausoup庫和re正則間來回爬去加強對兩種方法的理解 但是利用正則的時候出現了一個這麼個問題

源文件打開 找到的元素 在requests.get竟然沒有.當我們輸出一下html.text時我們發現 竟然和源文件不一樣

具體操作如下
headers={'User-Agent':'Mozilla/xxxxxxxxxxxxetaSr 1.0',
        'Host':'tieba.baidu.com',
         'Referer':'http://tieba.baidu.com/i/i/fans?u=4f5fe69d8ee4b9904d16',
        'Cookie':'BAIDUID=ED02DEFE60A617EF43B8F0F72EDE4DE6:FG=1; BIDUPSID=ED02DEFE60A617EF43B8F0F72EDE4DE6;
PSTM=1508720102;TIEBA_USERTYPE=e916512815a19960b624ed59; bdshare_firstime=1508724078966; FP_LASTTIME=1510621935104;
TIEBAUID=151fb0a2f5bc99698d3e338b;rpln_guide=1; BDUSS=pBOFZsUG5PdFAxMnFtQU5DWEIxMDVOTWYyZWxyczB-
fm10cjVPaElCQ0d2anRhQVFBQUFBJCQAAAAAAAAAAAEAAABPX00WwO7A1gAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAIYxFFqGMRRaZk; STOKEN=180a7f530458725c97dfccdcbe99215e0ad64c49b8bc8e47d74a59bbbb9c0874; fixed_bar=1;
wise_device=0;LONGID=374169423;
Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512029668,1512050336,1512050702,1512089508;Hm_lpvt_98b9d8c2fd6608d564bf2ac2ae642948=1512092098
; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; PSINO=2;H_PS_PSSID=1466_21092_18559_25178_22075; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598',
        }
 

把自己的 headers 加在get中就可以爬到和源文件一樣的內容了

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章