原创 Python queue隊列
作用： 解耦：使程序直接實現鬆耦合，修改一個函數，不會有串聯關係。 提高處理效率：ＦＩＦＯ ＝ 現進先出，ＬＩＦＯ ＝ 後入先出。 隊列： 隊列可以併發的派多個線程，對排列的線程處理，並切每個需要處理線程只需要將請求的
2019-07-31 16:06:47
原创 linux添加環境變量
1、cd ~ 2、vi .bash_profile 3、添加環境變量 export LOOK_SPIDER_RUNMODE=prod # .bash_profile # Get the aliases and functions if
2019-07-30 07:34:13
原创 Python：解析PDF文本及表格——pdfminer、tabula、pdfplumber 的用法及對比
Python：解析PDF文本及表格——pdfminer、tabula、pdfplumber 的用法及對比 pdf 是個異常坑爹的東西，有很多處理 pdf 的庫，但是沒有完美的。 一、pdfminer3k pdfminer3k 是 pdfm
2019-07-30 07:34:13
57
原创 github pymysql-pool mysql連接池多線程遇到的問題'_thread._local' object has no attribute 'retry_counter'
git上python的mysql連接池項目pymysql-pool，在多線程時遇到問題'_thread._local' object has no attribute 'retry_counter' 這個問題在於連接池的連接數不夠用了，官
2019-07-30 07:34:13
4
原创 Python學習之------retry（異常重試）
在做數據抓取的時候，經常遇到由於網絡問題導致的程序保存，先前只是記錄了錯誤內容，並對錯誤內容進行後期處理。 原先的流程： def crawl_page(url): pass def log_error(url): pa
2019-07-30 07:34:13
原创 使用concurrent.futures模塊併發，實現進程池、線程池
一、關於concurrent.futures模塊 Python標準庫爲我們提供了threading和multiprocessing模塊編寫相應的異步多線程/多進程代碼。從Python3.2開始，標準庫爲我們提供了concurrent.fu
2019-07-30 07:34:13
原创 python併發之concurrent.futures
Python標準庫爲我們提供了threading和multiprocessing模塊編寫相應的多線程/多進程代碼。從Python3.2開始，標準庫爲我們提供了concurrent.futures模塊，它提供了ThreadPoolExecu
2019-07-30 07:34:13
原创 本地通過隧道跳轉訪問內網數據庫服務器
情景描述： 本地開發機器 A localhost 跳轉機器 B 115.236.125.92 數據庫服務器 C 10.120.151.245 A可達B，B可達C，A不可達C，A要訪問C的數據庫。 使
2019-07-05 08:06:08
原创 python 日誌+終端顏色區分+按照日期分隔（logging+coloredlogs+TimedRotatingFileHandler）
# -*- coding: utf-8 -*- """ Author: 田野 Data: 2019-07-04 11:17 Introduction: """ import logging import os from logging
2019-07-05 08:06:08
4
原创 李輝《Flask Web開發實戰入門進階與原理解析》PDF+配套源代碼+資料+參考
我們學習python Web開發時，會選擇使用Django、flask等框架。 在學習flask時，推薦學習看看《Flask Web開發基於Python的Web應用開發實戰第2版》和《Flask Web開發實戰入門、進階與原理解析》 其中
2019-06-28 16:18:42
215
原创 python 中zip將兩個list合成爲字典
title = ['name','age'] item = ['xiaowang','15'] itemZip = zip(title,item) print(dict(itemZip))
2019-06-22 16:11:29
1
原创 python xml轉json
引入第三方包xmltodict 一、代碼 import json import xmltodict print(json.dumps(xmltodict.parse(""" <response><account>160381</ac
2019-06-12 21:04:30
原创 flask中orm的一對多，多對多用法
# -*- coding: utf-8 -*- """ Author: 田野 Data: 2019-06-05 16:43 Introduction: """ from datetime import datetime from fla
2019-06-10 17:28:43
原创 flask_script用法
demo1： from flask_script import Manager,Server from flask_script import Command from demo import app manager = Manage
2019-06-10 17:28:43