爲什麼網上Python爬蟲教程這麼多，但是做爬蟲的這麼少呢？爬蟲發展又該是如何呢？
我們來看看一篇深入前線的小哥的分析。
關於爬蟲的技術要求：
爬蟲掌握熟練的話，包括簡單的mysql語句、html和css簡單的知識以及最厲害的scrapy爬蟲框架，基本上就可以去嘗試海投一下爬蟲崗位。
創一個小羣，供大家學習交流聊天
如果有對學python方面有什麼疑惑問題的，或者有什麼想說的想聊的大家可以一起交流學習一起進步呀。
也希望大家對學python能夠持之以恆
python愛好羣，
如果你想要學好python最好加入一個組織，這樣大家學習的話就比較方便，還能夠共同交流和分享資料，給你推薦一個學習的組織：快樂學習python組織 可以點擊組織二字，可以直達
關於上面的問題，分兩部分來說。
1、爬蟲教程多：
確實，因爲只考慮爬取邏輯的話，爬蟲邏輯很簡單，無非就是構造請求、發送請求、解析響應、獲得數據四步，可能四行代碼就搞定了。因爲簡單，而且獲得的數據又很好展示，所以網上會有很多簡單的爬蟲教程。起個吸引眼球的名字，比如×××姐、磁力鏈等等，下面留言的會有一大把，越簡單的東西，門檻越低，自然教程越多了。
2、做爬蟲的少：
其實業務上，爬蟲的需求不少，但是專職做爬蟲的卻不多。
一方面，基礎的爬蟲簡單，普通的開發都能通過很短時間的學習勝任簡單的爬蟲任務，我身邊不少朋友，前後端數據分析AI工程師，時不時都會寫點爬蟲，因爲如果不是完全靠數據驅動的公司，對於數據的需求並沒那麼大，並不需要專人專崗來寫爬蟲；
另一方面，大規模數據爬蟲的技術難度成倍增加，對於複雜爬蟲而言，如何進行大規模數據的爬取和存儲，或者如何繞過複雜的認證，這都不是容易搞定的，需要熟悉分佈式的架構和使用、網絡底層協議、各類網站前後端架構及數據加密方式、甚至要有網絡安全***的功底，網上的基礎教程哪會教你這些。
很多人看不起爬蟲這個活，甚至在我當初找工作面試的時候，也有面試官問我：“如果很多時候，你的工作只是應對對方網站頁面結構的變化，不斷修改解析代碼，你還會覺得這個事情有意思嗎？”
可現在，當我工作了這麼多年，回想起這段時間的工作，卻一點也不覺得乏味：加密數據不好拿，別人可能就通過模擬瀏覽器來拿數據，我就非得人肉debug，從混淆代碼裏找到加密js，改寫成python來執行；網頁數據不好抓，我用手機抓包，走websocket協議來拉數據；
一臺服務器帶寬佔滿，我設計分佈式爬蟲，自己設計集羣方案，開多臺服務器並行爬數據；平時運維看日誌麻煩，我自己寫一個交互式的網頁來監控手下爬蟲運行情況。
每一次攻破對方的反爬系統，每一次優化代碼，每一次看自己設計的方案獲得了更好的效果，都能給我帶來非凡愉悅，爬蟲只是網絡數據的搬運工，但是同樣是搬運工，有人用手，有的人推起車，有的人卻能開起飛機；只要有心，通過最簡單的爬蟲工作一樣能夠豐富自己的技術棧。
此外，爬蟲工作很大一部分時間是在維護代碼，查看數據是否成功爬下。這樣的工作：首先，給你提供了很多時間用來學習，其次，你又能直接面對第一手數據，爲你學習數據分析數據挖掘提供很大的便利。
最後，你直接面對各種業務部門的數據需求，這對於你學習瞭解數據產品也有很大的益處
都是心得，表示認同 python基礎打好，爬蟲確實不難，你的成就感往往不是技術本身，而是突破對方反爬機制上的種種腦洞。至於前景如何。其實我想說，以興趣驅動你必成爲行業佼佼者。以前景或利益驅動。你最多是一個合格的普通員工。寫代碼耐得住寂寞可不是隨便說說。