原创 redis學習之redis的安裝和簡介
redis簡介 Redis是一個開源的，高性能的，基於鍵值對的緩存與存儲系統,通過設置各種鍵值數據類型來適應不同場景下的緩存與存儲需求。同時redis的諸多高層級功能使其可以勝任消息隊列，任務隊列等不同角色。 存儲結構 Redi
2019-03-20 15:11:01
原创 python魔法函數__dict__和__getattr__的妙用
__dict__ __dict__是用來存儲對象屬性的一個字典，其鍵爲屬性名，值爲屬性的值。 既然__dict__是個字典那麼我們就可以用字典的屬性了。 我們通過使用dir()屬性來看看__dict__都有哪些屬性。 ['__class
2019-03-20 15:10:51
原创 爬蟲老崩潰咋整 ？retrying模塊瞭解一下！
retrying模塊的學習 我們在寫爬蟲的過程中，經常遇到爬取失敗的情況，這個時候我們一般會通過try塊去進行重試，但是每次都寫那麼一堆try塊，真的是太麻煩，所以今天就來說一個比較pythonic的模塊，retrying. 安裝
2019-03-20 15:10:51
1
原创 python模塊學習之glob模塊
glob模塊 功能描述：glob模塊可以使用Unix shell風格的通配符匹配符合特定格式的文件和文件夾，跟windows的文件搜索功能差不多。glob模塊並非調用一個子shell實現搜索功能，而是在內部調用了os.listdir()和f
2019-03-20 14:50:11
原创 python數據解析模塊之glom模塊的使用(一)
glom模塊的使用 簡單說下glom模塊主要是處理結構化數據用的，安裝簡單pip install glom即可，下面就glom的方法參數做例子講解。 glom 和模塊同名的glom方法使用方法: .glom(target, spec,
2019-03-20 14:50:11
1
原创 python併發模塊之concurrent.futures(一)
Python3.2開始，標準庫爲我們提供了concurrent.futures模塊，它提供了ThreadPoolExecutor和ProcessPoolExecutor兩個類，實現了對threading和multiprocessing
2019-03-20 14:38:05
原创 python併發模塊之concurrent.futures(二)
python併發模塊之concurrent.futures(二) 上次我們簡單的瞭解下，模塊的一些基本方法和用法，這裏我們進一步對concurrent.futures做一個瞭解和拓展. 上次的內容點這。 python併發模塊之concurr
2019-03-20 14:38:05
1
原创 python設計模式之單例模式（二）
上次我們簡單瞭解了一下什麼是單例模式，今天我們繼續探究。 上次的內容點這 上次們討論的是GoF的單例設計模式，該模式是指:一個類有且只有一個對象。通常我們需要的是讓實例共享一個相同的裝態 比如數據庫連接。Alex Martelli的建議
2019-03-20 14:38:05
原创 關於網絡爬蟲的一些基礎知識
什麼是網絡爬蟲，百度百科是這麼定義的 網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕
2019-03-20 14:25:48