原创 pymysql流式遊標
Python通過pymysql操作向mysql讀取千萬、百萬級別的數據庫時 如果用傳統的fetchall()或fetchone()方法，都是先默認在內存裏緩存下所有行然後再處理，大量的數據會導致內存資源消耗光，內存容易溢出 此時則
2020-06-12 22:47:16
1
原创 本地項目提交至GitHub倉庫簡述
適用情況：本地有一個項目，github上新建了一個倉庫 只需要進行下面幾步就能把本地項目上傳到Github： 1、在本地創建一個版本庫（即文件夾），通過git init把它變成Git倉庫 2、把項目下的文件複製到這個文件夾裏面，再
2020-06-12 22:47:16
原创 asyncio+aiohttp異步爬蟲
概念 進程：進程是一個具有獨立功能的程序關於某個數據集合的一次運行活動。進程是操作系統動態執行的基本單元。 線程：一個進程中包含若干線程，當然至少有一個線程，線程可以利用進程所擁有的資源。線程是獨立運行和獨立調度的基本單元。 協
2020-03-02 17:59:31
原创 Python3實現百度雲盤資源自動轉存
Python3百度雲盤資源自動轉存 Python3實現百度雲盤資源自動轉存，解決帶有密碼的分享鏈接自動轉存，不含密碼的資源自動轉存，同時實現post請求轉存以及selenium轉存 前言 最近看上了一個免費的動漫網站，資源一出更得
2020-02-23 16:08:12
1
原创 Django+uwsgi+Nginx部署到雲服務器
前言 當我們在本地運行Django項目 python3 manager runserver 但是，這隻適用於Django的開發模式，只支持單用戶訪問，要想部署到服務器上供大量用戶訪問，綜合網上的許多資料，在此羅列幾種不同的Dja
2020-02-23 16:08:02
原创 部署Scrapy項目到騰訊雲服務器
前言 打算把寫完的爬蟲項目放到服務器上定時運行，然後瞭解到有scrapyd這個方便管理爬蟲，於是這篇文章的指向是在騰訊雲服務器上運行scrapd，然後把我們的爬蟲上傳到scrapyd，使得scrapyd可以管理爬蟲項目(注：沒有通
2020-02-23 16:08:02
原创 Python操作mysql保存數據時解決數據中含有單引號報錯方法
方法 mysql在保存視頻名稱時遇到的數據插入錯誤，查一下原因發現報錯視頻名稱主要都帶有'單引號，會導致SQL語句被截斷，從而產生錯誤 解決辦法如下： 替換成兩個單引號即可 name = str(name).replace('\'
2020-02-23 16:08:02
原创 Python3解決新版喜馬拉雅音頻JS反爬
前言 應該也有一年了吧，之前也在簡書，CSDN上寫過爬取喜馬拉雅音頻的文章，經歷了一次喜馬拉雅的改版，同時也更新了一波代碼 最近爲了喜歡的雪中，回去重新打算跑一下代碼下載音頻，這一跑不要緊，結果就發現喜馬拉雅又改版了 得，又得重新
2020-02-23 16:08:02
原创 CentOS上Docker部署Django項目記錄
概念 Docker 使用 Google 公司推出的 Go 語言進行開發實現（k8s也是Go語言），基於 Linux 內核的cgroup，namespace，以及 AUFS 類的 Union FS 等技術，對進程進行封裝隔離，屬於操
2020-02-23 16:08:02
1
原创 Python3+selenium+driver操作測試
前言 因爲要用到Selenium的暴力操作某盤，便寫一篇記錄一下 Selenium Selenium 是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE（7,
2020-02-23 16:08:02
原创 Scrapy命令行動態傳參給spider
scrapy命令行執行傳遞多個參數給spider 動態傳參 在命令行運行scrapy爬蟲 scrapy crawl spider_name 若爬蟲中有參數可以控制爬取的頁數，那麼想要在輸入命令行命令時傳遞頁數給爬蟲，就可以這樣做
2020-02-23 16:08:02
原创 Ubuntu上安裝RedisDesktopManager（踩坑）經驗總結
前言 這幾天學習GitHub上的一個項目，需要Linux的環境，於是抄起虛擬機用了以前安裝的 Ubuntu。項目用到了 Redis，還推薦使用 RedisDesktopManager 這個GUI，結果光是安裝就走了好多彎路，好在最後
2018-09-13 06:51:32
原创 python裝飾器學習
“你會Python嘛？” “我會！” ‘那你給我講下Python裝飾器吧！’ “Python裝飾器啊？我沒用過哎” 簡言之，python裝飾器就是用於拓展原來函數功能的一種函數，這個函數的特殊之處在於它的返回值也是一個
2018-09-03 03:36:36
原创 python3安裝.whl文件時遇到的超時錯誤
解決辦法： 對應的python版本，在windows的命令行下是輸入： pip –default-timeout=100 install -U pip 由於我的電腦上裝了2和3，且命名區別了開來，所以對應的爲： pyt
2018-09-03 03:36:36
1
原创 反編譯抖音apk
前言 這一篇來講解一下如何反編譯抖音的APK，瞭解過後反編譯其實也是挺簡單的 工具 apktool Apktool是google提供的apk的編譯工具。 官方使用說明：https://ibotpeaches.github.io/Ap
2018-09-03 03:36:35