原创 python爬蟲05 | 年輕人,不會正則表達式你睡得着覺?有點出息沒有?

現在   你已經會使用 python 模擬瀏覽器   進行一些 Http 的請求了   那麼請求完之後   服務器返回給我們一堆源代碼   我們可不是啥都要的啊   我們是有原則的     我們想要的東西   怎麼能一股腦的啥都往自

原创 python爬蟲24 | 搞事情了,python 用 Appium 爬取你的微信朋友圈。

昨天小帥b看到一些事情不順眼   有人偷換概念   忍不住就寫了一篇反諷 996 的   看不下去了,我支持996,年輕人就該996!   沒想到有些人看不懂   這就算了   還來罵我   早些時候關注我的小夥伴應該知道我第一時間就發過

原创 python爬蟲07 | 有了 BeautifulSoup ,媽媽再也不用擔心我的正則表達式了

我們上次做了   你的第一個爬蟲,爬取噹噹網 Top 500 本五星好評書籍   有些朋友覺得   利用正則表達式去提取信息   太特麼麻煩了     有沒有什麼別的方式   更方便過濾我們想要的內容啊   emmmm   你還別說

原创 python爬蟲28 | 你爬下的數據不分析一波可就虧了啊,使用python進行數據可視化

  通過這段時間   小帥b教你從抓包開始   到數據爬取   到數據解析   再到數據存儲   相信你已經能抓取大部分你想爬取的網站數據了   恭喜恭喜     但是   數據抓取下來   要好好分析一波   最好的方式就是把數據進

原创 python爬蟲29 | 使用scrapy爬取糗事百科的例子,告訴你它有多厲害!

是時候給你說說   爬蟲框架了   使用框架來爬取數據   會節省我們更多時間   很快就能抓取到我們想要抓取的內容   框架集合了許多操作   比如請求,數據解析,存儲等等   都可以由框架完成     有些小夥伴就要問了   你他

原创 python爬蟲24 | 搞事情了,用 Appium 爬取你的微信朋友圈。

昨天小帥b看到一些事情不順眼   有人偷換概念   忍不住就寫了一篇反諷 996 的   看不下去了,我支持996,年輕人就該996!   沒想到有些人看不懂   這就算了   還來罵我   早些時候關注我的小夥伴應該知道我第一時間就

原创 python爬蟲25 | 爬取下來的數據怎麼保存? CSV 瞭解一下

大家好   我是小帥b   是一個練習時長兩年半的練習生   喜歡   唱!   跳!   rap!   籃球!   敲代碼!   裝逼!     不好意思   我又走錯片場了   接下來的幾篇文章   小帥b將告訴你   如何將你

原创 python爬蟲27 | 當Python遇到MongoDB的時候,存儲av女優的數據變得如此順滑爽~

  上次   我們知道了怎麼操作 MySQL 數據庫   python爬蟲26 | 把數據爬取下來之後就存儲到你的MySQL數據庫。   MySQL 有些年頭了   開源又成熟又牛逼   所以現在很多企業都在使用 MySQL   MyS

原创 python爬蟲26 | 把數據爬取下來之後就存儲到你的MySQL數據庫。

  小帥b說過   在這幾篇中會着重說說將爬取下來的數據進行存儲   上次我們說了一種 csv 的存儲方式   這次主要來說說怎麼將爬取下來的數據保存到 MySQL 數據庫   接下來就是   學習python的正確姿勢     真香

原创 python爬蟲21 | 對於b站這樣的滑動驗證碼,不好意思,照樣自動識別

今天   要來說說滑動驗證碼了   大家應該都很熟悉   點擊滑塊然後移動到圖片缺口進行驗證     現在越來越多的網站使用這樣的驗證方式   爲的是增加驗證碼識別的難度     那麼   對於這種驗證碼   應該怎麼破呢   接

原创 python爬蟲23 | 手機,這次要讓你上來自己動了。這就是 Appium+Python 的牛x之處

  你有沒有想過讓你的手機幫你自動完成某些事情   比如自動幫你搶紅包   有些軟件不是有簽到活動麼   這些傻瓜式的操作   能不能讓手機自動簽到呢?   自動幫你叫外賣 自動幫你打電話 等等     還有   對於手機上的一些比

原创 python爬蟲18 | 就算你被封了也能繼續爬,使用IP代理池僞裝你的IP地址,讓IP飄一會

  我們上次說了僞裝頭部   ↓   python爬蟲17 | 聽說你又被封 ip 了,你要學會僞裝好自己,這次說說僞裝你的頭部   讓自己的 python 爬蟲假裝是瀏覽器   小帥b主要是想讓你知道   在爬取網站的時候   要多

原创 python爬蟲20 | 小帥b教你如何識別圖片驗證碼

  當你在爬取某些網站的時候   對於你的一些頻繁請求   對方會阻礙你   常見的方式就是使用驗證碼   驗證碼的主要功能   就是區分你是人還是鬼(機器人)   人   想法設法的搞一些手段來對付技術   而   技術又能對付人們

原创 python爬蟲22 | 以後我再講「python模擬登錄」我就是狗

接下來就是   學習python的正確姿勢   做爬蟲   繞不開模擬登錄   爲此小帥b給大家支了幾招   python爬蟲19 | 遇到需要的登錄的網站怎麼辦?用這3招輕鬆搞定!     有些網站的登錄很弱雞   傳個用戶名和密

原创 python爬蟲19 | 遇到需要的登錄的網站怎麼辦?用這3招輕鬆搞定!

  你好   由於你是遊客   無法查看本文   請你登錄再進   謝謝合作     當你在爬某些網站的時候   需要你登錄纔可以獲取數據   咋整?   莫慌   小帥b把這幾招傳授給你   讓你以後從容應對     那麼