原创 手把手教你分析中超16家球隊誰是老大
發現一個好玩的數據分析項目《數據告訴你，中超16家球隊誰是老大》, 原文鏈接：https://mp.weixin.qq.com/s/-csfuvlb8xwTsD8p1VQxXg 採集懂球帝網站上的中超16家球隊球員的能力信息，分析
2020-06-21 19:27:58
1
原创 解決UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position 148
背景: 由於最近公司的業務需要，對數據庫中的數據進行文章分類並打上對應的標籤屬性。最後選擇調用百度雲的人工智能文本分析aip接口。 百度雲的文本分析接口文檔如下: 需要接收一個content和title字段作爲文本分析。 正常情
2020-06-06 17:36:33
原创 python Url編碼和解碼
爲什麼要用Url編碼和解碼？ url帶參數的請求格式爲（舉例）： http://www.baidu.com/s?k1=v1&k2=v2 當請求數據爲字典data = {k1:v1, k2:v2}，且參數中包含中文或者？、=等特殊符
2020-06-06 17:36:32
1
原创 Elasticsearch 的安裝與使用（三）: python操作Elasticsearch增刪改查
1.python鏈接ES： from elasticsearch import Elasticsearch self.es = Elasticsearch([{'host': "192.168.1.88", 'port': 9
2020-06-06 17:36:32
1
原创 python 讀取各類文件格式的文本信息:doc,html,mht,excel
引言 衆所周知,python最強大的地方在於，python社區彙總擁有豐富的第三方庫，開源的特性，使得有越來越多的技術開發者來完善 python的完美性。 未來人工智能，大數據方向，區塊鏈的識別和進階都將以python爲中心來展開
2020-06-06 17:36:32
4
原创 對接釘釘實現對python項目的檢測提醒
背景：公司目前在運營維護的是一款通過採集網頁信息，保證項目內的信息能夠定時更新的python項目。 前面博客實現的多個功能也是在爲這個項目服務。（這個項目也是部門幾個小夥伴一起努力從零開發出來的）。 因爲網頁的信息更新時間不能確定
2020-04-24 15:32:42
原创 python 構建裝飾器計算代碼運行耗時
代碼的運行效率和性能優化是開發人員日常開發關注的重點。 一段好的代碼，最普通的標準是能夠實現功能，接下來是優化代碼，保證功能實現的前提下能夠簡潔代碼行數，通用標準是內置模塊>第三方庫>手動擼碼。 內置模塊作爲python語言自帶的
2019-09-16 04:40:28
原创 爬取《全職高手之巔峯榮耀》的豆瓣影評，分析漫改電影的優劣好壞
週末去看了《全職高手之巔峯榮耀》的大電影。記得是看掃毒2還是更前一點的電影時。全職大電影的預告片就出來了，第一眼看中的時候，就決定必須去看這場電影了。（每週一場的電影，默認成爲習慣了） 電影的好處在於，可以暫時脫離本身的角色設定，
2019-08-23 04:11:23
1
原创 爬取知乎高贊情話，甜蜜過七夕
又是一年一度的七夕情人節了！ 有女朋友的就牽好手，有男朋友的就抱緊腿，什麼都麼得的小夥伴就帶好裝備，靜靜的吃狗糧就ok了。 在這個到處都冒着粉紅泡泡的日子，不做點什麼都不太好意思。 作爲一名合格的代碼搬磚工，經過慎重的思考，決定
2019-08-08 04:32:42
原创 Python Pandas操作Excel表格文件:創建新表格，追加數據
前言: python操作excel表格文件的增刪讀寫，一般需要用到的第三方庫有xlwt,xlrd。xlrd負責讀取excel,xlwt負責寫入excel文件。這種操作方法比較繁瑣，效率還不錯，通俗易懂。 那麼有沒有一種更簡便，操作
2019-07-30 03:21:43
50
原创 批量更新MySql數據
def update_uid(self): """ 3.修改更新uid :rtype: object """ lon_list = [] update_str = "" fo
2019-07-18 03:00:57
原创 CrawlSpider調用Scrapy_splash功能:Crawlspider的源碼詳解
前言 Crawlspider是在scrapy普通Spider的基礎上加入內部獲取指定規則鏈接的功能，能有效提高我們獲取頁面中指定鏈接的效率。（咱也沒測過效率，咱也不敢問），常用於 翻頁，網頁鏈接循環的採集任務。 scrapy_sp
2019-07-18 03:00:57
3
原创 python 操作Excel表格
創建Excel表格 import xlwt import os def create_excel(filepath, sheetname): # 創建excel文件 workbook = xlwt.Workbo
2019-07-03 04:56:45
1
原创 Redis隊列
import redis import pickle class RedisQueue(): def __init__(self): redis_host = "172.24.4.9"
2019-06-30 05:12:18
原创 獲取Cookies
class GetCookies(): def __init__(self): a = """TYCID=6ab34ee0e89411e8aea4576c50bb3005; undefined=6ab34e
2019-06-30 05:12:18