原创 使用Scrapy框架遇到的坑

礙於我英文實在是爛,然後我學習新技術我一般優先找中文文檔,而在網上的Scrapy框架的中文檔好像都已經有點歷史了,各種運行不上,然後好不容易找到相對較新的:http://www.scrapyd.cn/doc/ 下面則是我按着文檔上教程遇到

原创 Scrapy框架安裝錯誤

問題描述: win7, python3.6.3 ,64位 在windows下,在dos中運行pip install Scrapy報錯 解決方案: 1.打開https://www.lfd.uci.edu/~gohlke/pythonlib

原创 【koa】解決koa-router獲取請求參數的問題

前端代碼: $.ajax({ url:'http://localhost:7777/charts/query', type: 'POST', contentType: 'application/json', data: JSON

原创 改變窗口大小,使用charts.js多次繪製的圖表,會恢復成第一次繪製的樣子

原因: 窗口大小改變會觸發canvas的重繪(至於爲啥是恢復成第一次,這個暫時沒深入瞭解)   解決辦法: 1.網上的做法是remove掉canvas元素,然後重新添加 2.使用charts.js中的方法xxx.destroy()去卸載(

原创 【vue】利用koa-cors實現vue-cli項目的跨域請求後端

錯誤提示: Access to XMLHttpRequest at 'http://localhost:7777/charts/query' from origin 'http://localhost:8081' has been blo

原创 消除vue文件在webstrom中報錯

(1)打開 Settings => File Types 找到 HTML 添加 *.vue

原创 【vue】搭建vue-cli腳手架(超詳細攻略並附上具體操作截圖)

在使用vue-cli之前,請確認你的電腦已經安裝了 node,建議版本在 8.0.0 以上 1.安裝 webpack-cli (這裏我們確認已安裝過node) a.檢查之前是否安裝過:下面這個樣子的肯定是沒成功的,成功的話會出現對應的版本

原创 editorConfig配置

一、常用屬性配置             1、root<boolean>                  是否是頂級配置文件,設置爲true的時候纔會停止搜索.editorconfig文件             2、charset<"

原创 解決win7盧布符號顯示問題

問題: 所有盧布符號顯示爲 □的樣子。。。   原因: win缺少了對應的更新   解決辦法: 1.訪問以下地址 https://www.microsoft.com/zh-CN/download/details.aspx?id=4405

原创 【python】解決用print打印函數返回值多一個None

根本原因: python定義函數時,一般都會有指定返回值,如果沒有顯式指定返回值,那麼python就會默認返回值爲None   我們輸入的代碼如下: def test(): print('aaa') print(test())

原创 【python】爬取csdn博客相關數據

代碼下載地址:https://github.com/guosimin/python-spider  注意:請限制使用爬蟲頻率,做一條有道德的爬蟲 一,首先要先準備一定量的代理ip並存入到數據庫 #!/usr/bin/env python

原创 【python】如何把爬取到的代理ip寫入到mongoDB

之前的 博文 是把代理ip寫入到txt文件中,然而真實情景中,寫入數據比較方便以後調用。 還和之前一樣,我先把我遇到的問題說一下: 1.這裏必須先安裝 pymongo,選擇以下其中一種即可,我用的是pip install --upgrad

原创 【python】local variable 'UserAgent' referenced before assignment

 原始代碼如下: import fake_useragent from fake_useragent import UserAgent def getHeader(): UserAgent = UserAgent().rand

原创 【python】自動生成一定數量的隨機請求頭header,對爬蟲進行僞裝

背景: 通過User-Agent構建請求頭headers能夠將爬蟲僞裝,但是有的網站會去檢查請求頭,進而封掉ip地址。所以在每次提交網站請求的時候,使用隨機請求頭迷惑對方能更好的保護我們的爬蟲。 如我之前的例子,用了一個比較笨的方法:蒐集

原创 解決ios移動端雙滾動條導致滾動穿透問題

解決方案1 在彈出層的touchstart事件中調用preventDefault 這種方法不可取,至少有3個缺點: 如果彈出層本身是有滾動(條)的話,將會導致彈出層無法滾動,此時用這種方法無異於飲鴆止渴。 一個很常見的場景,點擊彈出層,彈