前言
每到畢業季,很多應屆生在很多招聘的平臺上去找工作,都想往自己學習興趣這塊發展。但是自身起點太低,都會往實習生這塊去找。
最近想找實習單位。。結果發現boss上很多實習單位名字就叫‘實習生’…太不講究了 , 難怪一直搜不到…咳,其實是我自己水平有限,有些簡歷根本就投不出去
所以就想爬下boss杭州地區有實習生關鍵詞的所有職位,然後在職位詳情裏面搜索‘python’或者‘爬蟲’…然後小白開始動手了…
首先寫item 名字、公司、內容、url
如果你對python感興趣,我這有個學習Python基地,裏面有很多學習資料,感興趣的+Q羣:688244617
再接着去寫爬蟲 通過xpath 分析列表頁的詳情頁url 再通過url進入詳情頁分析數據 (淚流滿面。這過程居然沒動態加載的數據)
下一頁的url我是通過獲取最後一個a標籤拿到的 再如果有下一頁,就繼續爬
至於這個反爬機制 我不僅在settings裏設置了下載器延遲 爬蟲裏面也弄了time.sleep,窮學生買不起代理啊,好了。就是慢慢爬
數據直接導入了mysql mysql代碼是早寫好的異步代碼,當然對於這個龜速爬取(安全),異步同步沒區別。。
思路描述完畢
其實找工作還是要靠自己的實力說話,實力不強的話,有再好的面試機會都是白費的。編程也是個慢慢積累的過程,而且不要想着一步登天吧。