原创 小程序調試工具內置小程序自動化測試工具試用

小程序調試工具加載完小程序後,左上角菜單依次選擇“工具-自動化測試”    打開自動化測試工具頁面後等待程序加載完,點擊“開始錄製”    點擊左側小程序預覽窗口,用例詳情內生成執行步驟(用例步驟),完成後點擊停止錄製  回到小程序

原创 python-爬蟲-css提取-寫入csv-爬取貓眼電影榜單

貓眼有一個電影榜單top100,我們將他的榜單電影數據(電影名、主演、上映時間、豆瓣評分)抓下來保存到本地的excle中 本案例使用css方式提取頁面數據,所以會用到以下庫 import time import requests imp

原创 典型的爬蟲案例彙總

一、xpath:下圖中,頁面內容存儲在頁面元素中,可以使用xpath方法進行數據提取,具體事例參考下面幾個鏈接的文字 1、https://www.cnblogs.com/becks/p/11335493.html 2、https://www

原创 python-pandas提取網頁內tables(表格類型)數據

比如,下面網頁裏大學排行的數據   分析這個頁面,表格內的數據是包裹在tables裏的    這樣就可以使用pandas對數據進行提取並且導出成csv文件,具體代碼很簡單   import pandas as pd html='htt

原创 sql查詢語句典例整理

簡單查詢: 1、SELECT * FROM 表名稱 WHERE 字段名 LIKE '查詢內容' 1)、 SELECT * FROM member WHERE NickName LIKE '貝克漢姆':查詢member表NickName字段

原创 python aiohttp異步協程實現同時執行多條請求

我們在對多個鏈接進行處理的時候,往往是先請求一個鏈接獲得數據後,再請求第二個。 中間在等待返回數據時候,存在一個空閒時間,腳本啥都沒幹。 用aiohttp異步協程的方法,創建多條任務發送請求(理論上不是多任務,可以理解爲前一個請求發送後不等

原创 Python爬取任意城市肯德基門店信息(json數據反序列化、提取數據、寫入CSV)

本案關鍵內容點:json數據反序列化、提取數據、寫入CSV 創建csv,寫入表頭數據,腳本同目錄下會創建名稱爲book的csv文件,且第一行插入表頭內容   import csv f = open('book.csv',mode='a',

原创 eolink對數據進行四捨五入處理

下圖“BalanceAmount”返回值顯示小數點2位以後的值,這樣就與預計匹配值不等導致腳本錯誤      對這個值進行四捨五入處理,比如返回值變成整數 var num = eo.env.envParam["BalanceAmount

原创 eolinker取數組數據合併成一個數據的方法

有時候遇到數據存在某一個數組中,類似下圖結構,而用到這些數據的接口又需要一個數據集合,比如這樣[14224, 14223]。    思路使用後置腳本,創建一個集合,把這兩項數據取出來來,然後放到集合裏,腳本如下 eo.http.resp

原创 使用python批量爬取wallhaven.cc壁紙站壁紙

偶然發現https://wallhaven.cc/這個壁紙站的壁紙還不錯,尤其是更新比較頻繁,用python寫個腳本爬取 點latest,按照更新先後排序,獲得新地址,發現地址是分頁展示的,每一頁24張      本案例使用xpath爬

原创 Python調用騰訊雲API,實現人臉年齡變化

網上看到了一個教程,調用騰訊雲的人臉識別api和修改年齡api來實現模擬人物不同年齡的面貌 但是大多數教程的代碼都是想同的,估計是抄襲哪個人的關鍵是執行不了 剛好周杰倫馬上要發新專輯了,小改一下,拿杰倫的照,做個實驗咯 開始了 1、首先到騰

原创 Selenium反屏蔽處理

Selenium自動化過程,在瀏覽器內會顯示如下字樣    當出現此內容時,有些網站就會判定是機器在進行操作,然後網站會加載防機器操作程序,如下圖滑塊驗證    觸發反機器操作的原理大概如下    解決方法    具體代碼,加入到腳

原创 Selenium自動安裝並引用瀏覽器驅動的方法

以往的程序是先下載和把瀏覽器驅動放在指定目錄,然後在基本中引用驅動完成整個瀏覽器環境配置 剛好在網上看到一個更加簡便的方法,記錄下來 1、先安裝第三方庫webdriver_manager,pip install webdriver_mana