原创 python爬蟲獲取localStorage中的數據
最近採集數據遇到一個accessToken 類似微信中公衆號的全局唯一接口調用憑據access_token，公衆號調用各接口時都需使用access_token。但是這個可不友好，該數據是存放在localStorage，是一種可以替
2020-06-27 00:55:28
4
原创 Python3 js文本數據解密爬蟲 AES CBC模式解密
最近採集一個網站，返回數據json數據全是這樣的： 很明顯是這個數據是做了加密的，於是嘗試在sources中尋找關鍵加密的關鍵字，諸如base64等，果不其然，打幾個斷點發現這裏就是所有json數據解密的關鍵過程： 百度搜索關
2020-06-27 00:55:28
原创 Python3日期與時間戳轉換的幾種方法
概述 日期和時間的相互轉換可以利用Python內置模塊time和datetime完成，且有多種方法供我們選擇，當然轉換時我們可以直接利用當前時間或指定的字符串格式的時間格式。 獲取當前時間轉換 我們可以利用內置模塊datetime
2020-06-07 14:17:30
原创 Python函數參數匹配模型通用規則keyword-only參數
概述 Python3對函數參數的排序規則更加通用化了，即Python3 keyword-only參數，該參數即爲必須只按照關鍵字傳遞而不會有一個位置參數來填充的參數。該規則在處理人一多個參數是很有用的。 keyword-only
2020-06-07 14:17:20
原创 Python3多目標賦值及共享引用注意事項
概述 Python中多目標賦值即將等號左邊所有的變量名都賦值給右邊的對象，完成賦值操作，比如將三個變量同時賦值給一個字符串。 a = b = c = 'Python' print(a) print(b) print(c) 示例結
2020-06-07 14:17:20
原创 Python3之手動創建迭代器
概述 迭代器即可以遍歷諸如列表，字典及字符串等序列對象甚至自定義對象的對象，其本質就是記錄迭代對象中每個元素的位置。迭代過程從第一個元素至最後一個元素，且過程不能回滾或反方向迭代。 兩個基本方法iter、next 序列對象可以利用
2020-02-20 16:05:21
原创 selenium怎樣避免被服務器檢測
selenium怎樣避免被服務器檢測 selenium是用來完成瀏覽器自動化相關的操作.可以通過代碼的形式制定一些基於瀏覽器自動化的相關操作(行爲動作),當代碼執行後,瀏覽器就會自動觸發相關的事件.但這並不能避免服務器的檢測.
2019-06-29 13:38:09
3
原创 Python3之數據指紋MD5校驗與對比
MD5消息摘要算法（英語：MD5 Message-Digest Algorithm），一種被廣泛使用的密碼散列函數，可以產生出一個128位（16字節）的散列值（hash value），用於確保信息傳輸完整一致。MD5由美國密碼學
2019-06-11 15:03:22
原创 Python3內置模塊之base64編解碼方法小結
概述 Base64 是網絡上最常見的用於傳輸 8Bit 字節碼的編碼方式之一，Base64 就是一種基於 64 個可打印字符來表示二進制數據的方法。可查看 RFC2045 ～ RFC2049，上面有 MIME 的詳細規範。Base
2019-06-10 14:00:41
原创 Python3內置模塊之json編解碼方法小結
概述 Python3中我們利用內置模塊json解碼和編碼JSON對象，JSON（JavaScript Object Notation）是指定 RFC 7159（廢棄了RFC 4627）和 ECMA-404是一種輕量級數據交換格式，
2019-06-10 14:00:41
原创 Python函數參數匹配模型（上）
概述 Python3中函數參數一般都是通過賦值進行傳遞的，而調用者只需要知道如何正確的傳遞參數即可直接使用函數， 位置參數 即我們使用最頻繁的參數傳遞方法，通過參數的默認位置從左到右進行匹配 def f(x, y, z):
2019-06-10 14:00:41
1
原创 Python3爬蟲框架Scrapy：scrapy view http://www.xxx.com DEBUG: Forbidden by robots.txt:解決方案
當我們想利用scrapy view來查看requests後的網頁結果並在把瀏覽器中渲染出來時，可以：scrapy view http://www.baidu.com 可能遇到以下問題： DEBUG: Forbidden by ro
2019-06-10 14:00:41
原创 Python3內置模塊之pprint讓打印比print更美觀
概述 在我們使用內置打印函數print時，打印出的Python數據結構對象總是一行的輸出的方式，這樣對數據結構較複雜或數據較多的對象的顯示並不美觀，這時我們可以利用pprint輸出美化數據結構對象。 pprint方法概覽 美化輸出
2019-06-10 14:00:41
原创 Python3之enumrate和range對比及示例
概述 在Python中，enumrate和range都常用於for循環中，enumrate函數用於同時循環列表和元素，而range()函數可以生成數值範圍變化的列表，而能夠用於for循環即都是可迭代的。 range概述 range
2019-06-10 14:00:41
原创 Python3內置模塊之玩出花兒的random隨機方法小結
概述 random是Python中與隨機數相關的模塊，其本質就是一個僞隨機數生成器，我們可以利用random模塊基礎生成各種不同的隨機數，以及一些基於隨機數的操作。 生成隨機數相關 生成0~1之間的浮點數 import rando
2019-06-10 14:00:41