原创 python3 腳本發郵件筆記[親測]

# 安裝相關的模塊 # 設置好 # 發送地址(from_addr) # 接收地址(t0_addr)/ # 信息內容(msg_text) # 郵件標題(title) def my_send_email(msg_text,t

原创 python3 寫csv文件,xlsx導圖片到表格

import csv with open("XXX.csv","a",newline="",encoding='utf-8') as datacsv: # a 是後續可以加入內容,w 參數則是覆蓋 #dialect爲打開

原创 淘寶,速賣通,天貓同理,商品視頻下載過程分享,2019/10/21更新

正常來說,小網站的圖片和視頻非常容易下載,匹配到視頻展示的那個節點找到視頻鏈接就可以開始進行下 載了。可是對於淘寶之類的大一點的手段,增加難度,在video節點那裏並非是直接調用音頻視頻鏈接啥的,打開video上面。[經發現

原创 python3 requests.post接口抓取實例

以下是使用requests,抓取發過站的的top排名和recent評論的api[post] 的post實例 具體接口分析,自行打開amazon.fr分析 def api_fr(asin): #orderBY[recent,help

原创 基於[pypyeteer] 的腳本開發記錄

隨着技術的發展,selenium的識別技術越發成熟,selenium在爬蟲和腳本的適用性開始下降,一般適用於反爬程度相對低的動態網頁的渲染,並且api加密,需要快速開發的爬蟲項目. 目前所接觸到selenium被識別的網站有,淘

原创 python3 [XPATH]常用筆記

import requests from lxml import etree req=requsets.get(url) req.encoding='utf-8' html=req.text # html 是獲取到網頁文檔 ht

原创 nginx+uwsgi部署django[1.11.8] 到 ubuntu記錄

ubuntu18上使用nginx+uwsgi部署django1.11.8 版本請對號入座 如果你在調試過程中,設置失敗,建議先行卸載nginx再重裝 可能在調試中亂改了源文件的代碼,所以建議重裝再進行調試 # 卸載 sud

原创 django-項目開發筆記. 開發版本號1.11.8[pip3 install django==1.11.8] +layer使用

登錄驗證問題 1.1 使用django自帶的登錄驗證功能 我這裏對比的是是django庫中的,auth_user的表; post發送過來的賬號密碼對比; #導入驗證的模塊 from django.contrib.auth im

原创 win7 安裝mysql server記錄 || ubuntu 安裝 mysql 密碼設置情況

下載 下載,並且推薦5.7版本,官網 解壓,添加環境變量 解壓文件,添加環境變量,文件夾中bin的環境變量 cmd啓動,cd 到 bin文件夾下 輸入 mysqld --install 回車安裝卸載被拒絕?以管理員身份啓動c

原创 myqlclient在window10的安裝方法,很簡單

一開始我也查了網上滿天飛的解決辦法,python3的django2.2版本之後就不支持舊驅動了 報錯提示,mysql的驅動太舊了,所以需要更新mysqlclient 什麼提示cl.exe的報錯啊,mysql.h的報錯的,查解決辦法都沒用,

原创 django-項目開發筆記. 開發版本號1.11.8[pip3 install django==1.11.8]

登錄驗證問題 1.1 使用django自帶的登錄驗證功能 我這裏對比的是是django庫中的,auth_user的表; post發送過來的賬號密碼對比; #導入驗證的模塊 from django.contrib.auth im

原创 電腦運行VirtuaBox虛擬機總是提示0x00000000錯誤的解決方法

最近有用戶發現在電腦中運行VirtualBox虛擬機,總是提示0x00000000錯誤“0x00000000指令引用的0x00000000內存該內存不能爲written,”,這是由於系統主題被破解,而VirtualBox會調用u

原创 Python3.x selenium 筆記

網上很多的滾動條辦法,可能是系統間的差異,或者瀏覽器的差役,導致結果可能不盡人意 我的經常使用的環境是,ubuntu + chrome + chromedirver + selenium + python3.5.2 以下筆記,

原创 python3使用pyppeteer繞過navigator.webdriver的腳本特徵值檢測

如今,網上說的檢測腳本特徵值的辦法是 # chrome啓動 # F12 console 輸入 navigator.webdriver # 腳本被識別則返回 >> true # 正常瀏覽器會返回 >> undefined # 或者

原创 Ubuntu18安裝scrapy,出現command 'gcc' failed with exit status 1 解決方案

安裝scrapy,獲取其他出現這個問題 解決方案如下: 1. 參考自己的python 的版本 當遇到這個錯誤,請在錯誤之前注意它可能說你是缺少一個包或頭文件,你會發現那些並安裝它們,並驗證其是否工作正常。(例如ssl - > li