原创 人民日報客戶端 Securitykey生成問題
人民日報客戶端 鏈接中有一個 securitykey ： 單條數據的json格式: http://app.peopleapp.com/Api/600/homeApi/getArticleInfo?article_id=437609
2019-07-18 05:56:11
31
原创 .shtml網站解析UnicodeError
SHTML和HTML的區別 如果用一句話來解釋就是:SHTML 不是HTML，而是一種服務器 API。 shtml是服務器動態產成的html. 雖然兩者都是超文本格式,但shtml是一種用於SSI技術的文件。 也就是Server
2019-07-08 18:23:06
原创 charles修改接口返回值
我們在測試app時，如果想看大數據量或者空數據時的展示情況，可以通過charles修改接口返回值來實現。 步驟1：手機連接代理 步驟2：app端請求接口，查看charles抓包情況 步驟3：選擇想要修改返回值的接口，右鍵設置斷點
2019-07-08 18:23:06
原创 接口測試
後端接口都測試什麼？ --回答這個問題，我們可以從接口測試活動內容的角度下手，看一下面這張圖，基本反應了當前我們項目後端接口測試的主要內容： 問題1.2、我們怎麼做接口測試？ –由於我們項目前後端調用主要是基於http協議的
2019-07-02 14:20:27
原创 微博數據各字段的含義
最近在寫微博的爬蟲，框架已經基本穩定，但是在解析各字段含義的環節卡了好幾天，因爲不清楚各個字段的含義，官網的api註釋好像有點過時，很多字段沒有註釋，所以只能自己一點一點分析了 移動端得到的微博數據是json格式的，獲得一個頁面的
2019-06-27 14:27:53
原创 mac生存指南：linux的內存cpu磁盤使用情況查詢
查看物理cpu個數 grep 'physical id' /proc/cpuinfo | sort -u 查看核心數量 grep 'core id' /proc/cpuinfo | sort -u | wc -l 查看線程
2019-06-26 10:47:27
原创 mac生存指南:linux中crontab定時啓動關閉
crontab -e 會進入編輯模式。 我的是nano編輯器。 使用Ctrl+O來保存所做的修改 使用Ctrl+X來退出 基本格式 : command： 分 時 日 月 周 sh 文件 命令 第1列表示分鐘1～59
2019-06-24 17:57:50
12
原创 mac求生指南：linux中scrapy報錯沒有sqlite3
烏班圖的系統。 python3.5的環境 針對這個問題，只能採取最原始的辦法來進行安裝，具體操作如下; （1）安裝sqlite3的包 $ wget https://www.sqlite.org/2017/sqlite-autoc
2019-06-24 07:32:06
原创 mac求生指南：在linux上安裝scrapy
在linux裝scrapy。總是會有些莫名其妙的問題。 pip install scrapy 其實可以看最後。如果不想跟坑的話 =。= 如果報這個錯： ERROR: Could not find a version that
2019-06-22 14:22:03
原创 python生成日誌
python裏面的日誌簡單生成。 import logging import os.path import time # 第一步，創建一個logger logger = logging.getLogger() logger.se
2019-06-21 14:29:48
原创 一個簡單的搜狗微信公衆號案例
這裏做了一個微信文章的爬取案例。 搜狗提供了微信公衆號的鏈接，儘管裏面只有10條最新文章數據，但是還是值得一抓的。 因爲想要實現抓取不同的微信公衆號的文章，所以採用了selenium來模擬瀏覽器操作，我們可以先通過搜索來獲得一
2019-06-19 08:09:27
1
原创 抖音用戶信息爬取案例
抓包。抓到了一個share_url 我訪問過去看了下， https://www.iesdouyin.com/share/user/102064772608 有數據的。那就拿數據。 然後發現它的數字做了字符集映射。 搞他。
2019-06-17 18:30:07
1
原创 mac求生指南：charles的使用
charles抓包工具，之前在windows系統一直使用的fiddler，換了mac後，安裝的fiddler各種問題，使用起來各種bug。 沒辦法 找了這個charles來進行抓包。 就是這個花瓶！ 打開是這個樣。 工具欄裏
2019-06-13 16:37:01
1
原创 mac生存指南：Fiddler安裝
給你一個鏈接自己體會 https://www.telerik.com/download/fiddler 下面這個訪問可直接下載： https://www.telerik.com/download/fiddler/fiddler
2019-06-12 16:24:46