原创 urllib庫（一）
urllib庫是python3內置的HTTP請求庫， urllib庫的四大模塊： urllib.request:請求模塊 urllib.error:異常處理模塊 urllib.parse:URL解析模塊 urllib.robotp
2020-07-03 10:12:30
原创 urllib庫（二）
處理GET和POST請求 1.GET請求 import urllib.request import urllib.parse # 準備URL url = 'http://www.baidu.com/s?' # 準備字典參數 pa
2020-07-03 10:12:30
原创 協程任務流程
協程爬蟲流程分析 協程工作流程分析 gevent.spawn()方法：創建並啓動協程 gevent.joinall()方法：等待所有協程執行完畢 # 打猴子補丁，在遇到阻塞時，實現多個協程任務自動切換 from gevent
2020-07-03 10:12:30
原创 Queue類
Queue類：是 Python標準庫中的線程安全的隊列(FIFO)實現，提供了一個適用於多線程編程的先進先出的數據結構----隊列，用於生產者和消費者線程之間的信息傳遞。隊列是線程間最常用的交換數據的形式。這裏有個問題,爲什麼使用
2020-07-03 10:12:30
原创 urllib庫（四）
異常與捕獲 URLError產生的原因主要有: **1.**沒有連接網絡 **2.**股務器連接失敗 **3.**找不到指定的服務器 import urllib.request import urllib.error # 構建
2020-07-03 10:12:30
原创 pytorch運行錯誤：RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
發現瞭解決該問題的方法：（特別是實驗室服務器單機多卡的情況） TensorFlow時代的做法是， import os os.environ['CUDA_ENABLE_DEVICES'] = '0' 但是該方法在Pytorch代碼
2020-07-03 10:12:30
原创 多線程爬蟲流程
1.多線程爬蟲流程分析 2.queue模塊 2.1Queue：先進先出隊列，類似火車站排隊 from queue import Queue # Queue：先進先出隊列，類似火車站排隊 # 創建Queue對象 # maxsiz
2020-07-03 10:12:30
原创 爬蟲數據解析
Python中常見的解析技術：正則、xpath、BeautifullSoup、json模塊、jsonpath 正則：從任意的字符串中查找需要數據 Ⅹpath, BeautifullSoup都是用於處理有層次結構的數據,比如:htm
2020-07-03 10:12:30
原创 pip install yaml
問題 pip install yaml ERROR: Could not find a version that satisfies the requirement yaml (from versions: none) ERRO
2020-07-03 10:12:30
3
原创 python代碼中忽略警告
在python代碼運行時會出現一些警告 解決 import warning warnings.filterwarnings("ignore") 命令行則使用以下代碼執行即可 python -W ignore xxx.py
2020-07-03 10:12:30
原创 ArcGIS對遙感影像進行投影轉換，糾偏
在arcgis中進行座標轉換有兩種方法： 第一是在ArcToolbox–>數據管理工具模塊–>投影和轉換–>投影柵格功能， [Toolboxes–>System Toolboxes–>Data Management Tools.t
2020-07-03 10:12:30
1
原创 urllib庫（五）
1.requests庫中提供瞭如下常用的類 requests.Request:表示請求對象,用於準備一個請求發送到服務器 requests.Response:表示響應對象,其中包含服務器對HTTP請求的響應 requests.se
2020-07-03 10:12:30
原创 python將兩個列表按照相同順序打亂
1、完成了數據的組合，shuffle， 拆分，是很有效的數據處理方法。 b = [1, 2, 3, 4, 5, 6 , 7, 8 ,9] a = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',
2020-07-03 10:12:30
原创 urllib庫（三）
1.設置代理服務器 import urllib.request import random # 實現啓用代理或不啓用(定義變量，記錄是否啓用代理） proxy_switch = True # 代理列表 proxies_list
2020-07-03 10:12:30
原创 MySQL如何重啓
一、MYSQL服務 我的電腦——（右鍵）管理——服務與應用程序——服務——MYSQL——開啓（停止、重啓動） 二、命令行方式 1.點擊“開始”->“運行”(快捷鍵Win+R)。 2.啓動：輸入 net stop mysql 3.停
2020-07-03 10:12:30