原创 Python爬蟲-正則表達式re

  隨着大數據乃至人工智能的迅猛發展,數據變得越來越重要,甚至已成爲很多企業賴以生存的根基。而想要獲取數據,爬蟲是必備工具之一。而正則表達式在爬蟲抓取內容中扮演中重要角色,要想成爲一個合作的爬蟲工程師,就必須熟練的掌握正則表達式的知識。  

原创 鏈家數據分析二-數據分組處理

關於   學習日月光華老師的《Python數據分析從入門到機器學習》,通過寫該文來鞏固數據分析中使用的知識點。 主要是針對鏈家的數據進行各個不同方向的分析,本文是第二篇,針對數據中各個房源成交單價及其總價的分析。 準備 工具 :Anacon

原创 Python + Scrapy爬取高逼格音樂網站《落網》

最近,在學習Python的爬蟲框架scrapy。現在利用scrapy框架,把之前寫過的一個落網爬蟲重新實現一遍。 爬蟲的具體分析見本人之前寫的python爬蟲-爬取高逼格音樂網站《落網》 首先,先進入dos模式下面,在合適的目錄建一個scr

原创 mac系統mongodb安裝以及pycharm編輯器的配置

  工欲善其事,必先利其器,要想學好數據分析,必須要有個好的開發環境。我選擇的是MongoDB+PyCharm。爲了安裝mac版本的MongoDB和PyCharm的配置,查了好多的資料,終於是安裝完成了。下面我來介紹下具體的安裝和配置過程。

原创 python爬蟲-爬取高逼格音樂網站《落網》

關於 落網,一個高逼格的音樂網站,是很多文藝青年經常逛的網站。經常下載落網音樂到本地,一首一首的下載十分的痛苦。最近剛好在學習python爬蟲的東西,剛好把落網音樂的爬取當做一個練習項目來實踐(IT從業者的好處~)。 準備 工具 :pyth

原创 鏈家數據分析一--數據離散化處理

關於 學習日月光華老師的《Python數據分析從入門到機器學習》,通過寫該文來鞏固數據分析中使用的知識點。 主要是針對鏈家的數據進行各個不同方向的分析,本文是第一篇,針對數據中各個房源成交單價的分析。 準備 工具 :Anaconda、juy

原创 python爬蟲-爬取拉勾網職位英文關鍵詞

關於 一直埋頭學習,不知當前趨勢,這是學習一門技術過程中最大的忌諱。剛好利用python爬蟲,抓取一下拉勾網關於python職位的一些基本要求,不僅能知道崗位的基本技能要求,還能鍛鍊一下代碼能力,學以致用,一舉兩得。 準備 工具 :pyth