python爬蟲小項目--飛常準航班信息爬取variflight

很久不更新博客,分享下最近一個小項目 飛常準 。飛常準是飛友科技旗下一個航班信息數據網絡品牌。主要爲用戶提供航空相關數據。目前核心業務爲航班動態和便宜機票搜索引擎。飛友科技旗下總有飛友網、飛常準、VariFlight、AirTu等品牌。

廢話不多說,開始搞事情。

分析頁面,首頁有航班號和升降地有列表,要怎麼下手呢?等下,怎麼數據這麼少。

 

哈哈。找到列表入口url

 

上代碼請求看有沒有數據,個人喜好,也可以在瀏覽器network和其他工具看。

漂亮!

踩坑了,有的城市沒有航班,還加入起降列表中,體驗非常不好,都沒有爲我們爬蟲的考慮下,正想着拿起電話打4006-350-787給官網反饋這BUG!

嗯嗯,想下畢竟俺是看過程序員的自我修養滴,經過兩個小時的發呆,終於把情緒控制住了。繼續看看。

突然想起xpath插件,我真是太有材了,按捺不住心中的喜悅,忍不住,來music 蹦了個迪。一個小時又過去。

頓時,領導過來,又被狂虐一把,嗚嗚嗚

continue


挖去,實際起飛時間,實際到達時間,準點率,怎麼是個連接。

居然和去哪網一樣使用了的字體反爬變身術。

不慌穩住,作爲黑寡婦稱號的spider工程師,這些淫蟲小雞,噢,不,應該是雕蟲小技,還想攔住我。

使用OCR即可(目前最好的開源谷歌圖像識別工具),字體還這麼工整,還不用收集標本訓練呢。爽歪歪。

自己以爲的,永遠都是自己以爲的。

打開圖片的連接

頓時  飛友的前端反爬工程師肯定是上昂着圓潤嘴角裸露絲絲微笑

繼續發呆,狂抓腦袋數小時,抓掉998跟頭髮的時候,突然讓我想起試下手機wap版,點開chrome toggle device toolbar

居然是wap版本就是電腦的縮小版

使用手機APP抓包大法。

平時只用電腦的挨踢程序員沒有手機這可怎麼辦?

工欲善其事,必先利其器於是,花幾天寫個插件搶了兩臺小米手機手機。

等着手機開工的啊,再爬不出數據就要被老闆當魷魚樣炒了。

問了那位平時和他聊得比較多,且經常對我眉來眼去的同性同事借了臺手機。

挖去,手機壁紙居然是偷拍我背影的圖片,這手機透露着巨大信息量!!!

頓時看了看他,他給我拋了個媚眼

還是安裝個SDK安卓虛擬機算了

配好環境,調試瀏覽器能抓到數據。

居然什麼數據都沒有,一直翻頁都沒有任何數據

就爬那麼一點點數據這麼保密幹嘛!

 

欲知後事如何,且聽下回分解

 

後續還會上代碼和和分析!

更新中!更新中!更新中!

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章