boss實習生崗位太難找,用SCRAPY爬取BOSS直聘實習生數據,原來是......

前言

每到畢業季,很多應屆生在很多招聘的平臺上去找工作,都想往自己學習興趣這塊發展。但是自身起點太低,都會往實習生這塊去找。

最近想找實習單位。。結果發現boss上很多實習單位名字就叫‘實習生’…太不講究了 , 難怪一直搜不到…咳,其實是我自己水平有限,有些簡歷根本就投不出去
在這裏插入圖片描述

所以就想爬下boss杭州地區有實習生關鍵詞的所有職位,然後在職位詳情裏面搜索‘python’或者‘爬蟲’…然後小白開始動手了…

首先寫item 名字、公司、內容、url

在這裏插入圖片描述

如果你對python感興趣,我這有個學習Python基地,裏面有很多學習資料,感興趣的+Q羣:688244617

再接着去寫爬蟲 通過xpath 分析列表頁的詳情頁url 再通過url進入詳情頁分析數據 (淚流滿面。這過程居然沒動態加載的數據)
在這裏插入圖片描述

下一頁的url我是通過獲取最後一個a標籤拿到的 再如果有下一頁,就繼續爬

在這裏插入圖片描述

至於這個反爬機制 我不僅在settings裏設置了下載器延遲 爬蟲裏面也弄了time.sleep,窮學生買不起代理啊,好了。就是慢慢爬
數據直接導入了mysql mysql代碼是早寫好的異步代碼,當然對於這個龜速爬取(安全),異步同步沒區別。。
在這裏插入圖片描述

思路描述完畢

其實找工作還是要靠自己的實力說話,實力不強的話,有再好的面試機會都是白費的。編程也是個慢慢積累的過程,而且不要想着一步登天吧。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章