原创 AttributeError: module 'matplotlib' has no attribute 'verbose'

今天在使用matplotlib時報錯 AttributeError: module 'matplotlib' has no attribute 'verbose' 剛開始以爲是在python interpreter 中安裝matplotl

原创 python日常導包的兩種常見方式的區別

python中常見的兩種導包方式分別爲下面一,二所示方式,但是這兩種方式存在着本質上的不同 一。   import XX 二。 from xx import xx   之所以說兩者有着本質上的不同是因爲使用第二種方式導包實際上是發生了深拷

原创 win10安裝虛擬環境管理包virtualenvwrapper-win

下面開始介紹Virtualenvwrapper的使用(virtualenvwrapper-win依賴於virtualenv所以也要安裝virtualenv) 也得安裝  pip install virtualenv 首先安裝  pip i

原创 python操作neo4j圖數據庫的基本方法

最近在做圖數據庫的相關工作,python有自己的第三方庫可以很方便與圖數據庫進行交互 -- py2neo 一,節點 1,創建節點和關係 >>> from py2neo import Node, Relationship >>> a =

原创 *** Please tell me who you are. Run git config --global user.email "[email protected]"

今天在使用git的時候突然提示下面信息: *** Please tell me who you are. Run git config --global user.email "[email protected]" git co

原创 MongoDB save()方法和insert()方法的區別

MongoDB save()方法和insert()方法的區別 首先看官方文檔怎麼說的 Updates an existing document or inserts a new document, depending on its do

原创 urllib2自定義構建代理handler之私密代理的使用方法一(需要授權)

#!/usr/bin/env python # -*- coding:utf-8 -*- import urllib2 # 使用私密代理的授權方法 authproxy_handler = urllib2.ProxyHandler({

原创 win10安裝neo4j

首先要想安裝neo4j,必須要安裝java的jdk(安裝過程見上一篇:https://blog.csdn.net/myli_binbin/article/details/99946586) 1.從官網下載最新版 Neo4j 社區版(Com

原创 爬蟲IP被禁的簡單解決方法

爬蟲以前聽上去好厲害好神祕的樣子,用好了可以成就像Google、百度這樣的索索引擎,用不好可以憑藉不恰當的高併發分分鐘崩掉一個小型網站。寫到這裏想到12306每年扛住的併發請求量,覺得好牛逼。 爬蟲和反爬蟲從一直以來都是一個道高一尺魔高一

原创 python 爬蟲之網站robots協議的重要性

在我抓取網站遇到瓶頸,想劍走偏鋒去解決時,常常會先去看下該網站的 robots.txt 文件,有時會給你打開另一扇抓取之門。   寫爬蟲有很多苦惱的事情,比如:   1.訪問頻次太高被限制;   2.如何大量發現該網站的 URL;   3

原创 urllib2發送get數據

# -*- coding:utf-8 -*- import urllib import urllib2 url = "http://www.baidu.com/s" headers = {"User-Agent" : "Mozil

原创 Python在寫入文件時中文報錯IOError: [Errno 22] invalid mode ('w') or filename

Python版本爲2.7.0,IDE爲PyCharm f = open(filename, 'w') f.write(html) filename中包含中文,html爲一個網頁數據,結果報瞭如下的錯   File "D:/Pytho

原创 urllib2 的HTTPBasicAuthHandler處理器(Web客戶端授權驗證)

有些Web服務器(包括HTTP/FTP等)訪問時,需要進行用戶身份驗證,爬蟲直接訪問會報HTTP 401 錯誤,表示訪問身份未經授權: urllib2.HTTPError: HTTP Error 401: Unauthorized

原创 urllib2自定義構建代理handler之公開代理的使用(不需要授權)

 在https://blog.csdn.net/myli_binbin/article/details/99759031中提到,當使用自定義handler時,生成opener後,要調用opener的open方法去發送請求,這篇文章提到如何

原创 urllib2自定義構建代理handler之私密代理的使用方法二(需要授權)

import urllib2 import urllib # 私密代理授權的賬戶 user = "用戶名" # 私密代理授權的密碼 passwd = "密碼" # 私密代理 IP proxyserver = "ip:端口號" # 1