原创 Python多線程爬蟲—批量爬取豆瓣電影動態加載的電影信息(小白詳細說明自己對於多線程瞭解)

單線程與多線程爬取時間比較 最近聽取了老師的建議,開始對多線程爬蟲進行自學,在進行多線程爬蟲實戰之前我做了三點準備,並將準備時所學的東西已寫成博文與大家分享,兄你們要是感興趣的話可以看一看喔😁要是有什麼錯誤的地方可以直接評論私信我

原创 Python幫你玩轉Excel文檔之xlwt模塊創建Excel文檔(基本操作)

小說明:此次分享的時是簡單的基本操作,個人感覺利用xlwt模塊添加進數據後,可對錶格內容進行詳細的格式設置,沒必要再用代碼進行設置😁 xlwt模塊的基本操作1.導入模塊2.創建工作簿 workbook 等價於創建一個Excel表3

原创 (2020年)解決報錯:SyntaxError: Non-UTF-8 code starting with '\xe6' in file

首先這個報錯出現的原因可能是因爲你的Python代碼中出現了中文字符,註釋中的字符也算。 官方解決鏈接:https://www.python.org/dev/peps/pep-0263/#proposed-solution 官方解

原创 Python幫你玩轉Excel文檔之xlrd模塊的基本詳細操作

閱讀前小讀: (1)本博文針對的Excel文檔是以 .xls 結尾的文檔 (2)此次操作的文檔來源爲國家統計局官網中的季度數據,大家也可以登陸國家統計局官網自行下載 (3)一個Excel文檔等價於一個“工作簿”,一個“工作簿”中又

原创 Python—Queue模塊基本使用方法詳解

python多線程編程準備(三) 已經有好長一段時間沒有更新過博客了,完成了網課的一個段落的學習,終於有時間寫博客啦😁之前學習了Python爬蟲的一系列東西,自己現在可以應對基本的抓站,瞭解了不同的基本反爬形式和解決辦法,感興趣的

原创 Pyecharts V1全新版本 x軸不能完全顯示的問題解決(三種方法)

今天搞可視化的折線圖,發現和之前的柱狀圖出現同樣的問題,就是 x 軸數據如果過多或者 str 內容過長,就不能完全顯示,看了文檔好長時間,很是煩躁,博文最後總結了三種方法。 官方文檔解決這個問題的地方(在設置全局設置中的 Axis

原创 Pyecharts V1全新版本使用教程——Bar(柱狀圖的使用)

Pyecharts V1全新版本使用教程——Bar(柱狀圖的使用) 以下內容均來自Pyecharts官方使用文檔(可自行閱讀)和自己的理解: 官方鏈接:https://pyecharts.org/#/zh-cn/intro git

原创 Selenium——爬取自己大學三年所有的成績保存在數據庫(排序完心理有底了滿滿的全是回憶)

Selenium——爬取自己大學三年所有的成績保存在數據庫(心理有底了😂) 時間過得真是快,不知道怎麼自己就已經大三了,最近班裏又開始收集每個同學的大三一年的成績上報學校,突然感覺這疫情一過去了學校就已經大四了,馬上就要面對社會找

原创 python-Scrapy爬蟲框架介紹(整個數據的流程)

python-Scrapy爬蟲框架介紹 隨着在家的線上教育的進行,課程的深入學習,所要學習的內容和作業也在不斷的增多,所以沒有過多的自己的時間去學習新的爬蟲知識,但疫情逐漸的在好轉,我也很是期待開學的那一天,畢竟線上教育的效果沒有

原创 再爬拉鉤,直接忽略反爬!Selenium+Xpath+re 可見可爬

再爬拉鉤,直接忽略反爬!Selenium+Xpath+re 可見可爬 之前我寫過一篇博python成功爬取拉勾網——初識反爬(一個小白真實的爬取路程,內容有點小多)這是我第一次對具有多種反爬措施的網站進行的爬取,之前爬取的大都是簡

原创 Python使用Selenium自動化登陸學習通爬取指定課程下的討論(爬取動態加載數據)

Selenium使用 經過一段時間對python的學習,自己對於爬蟲使用的庫也開始逐漸的增多,從最開始接觸的requests庫,BeautifulSoup庫,到後來的re庫,lxml庫,等等一些主要的關於python網絡爬蟲的庫,

原创 疫情過去女朋友想去重慶玩,python批量爬取小豬短租重慶民宿信息

疫情過去女朋友想去重慶玩,python批量爬取小豬短租重慶民宿信息 隨着時間的流逝,在中國共產黨的領導,全國人民的共同努力下,疫情逐漸受到了控制,逐漸好轉,復工,開學有望。最近在和女朋友的閒聊當中得知她想五一去重慶你玩兒,上完網課

原创 Python幫你瞭解你喜歡的人!爬取她的微博內容信息!(Ajax數據爬取)

Ajax數據爬取 什麼是Ajax,官方的來說,它不是一們編程語言,而是利用JavaScript在保證頁面不被刷新、頁面鏈接不改變的情況下與服務器交換數據並更新部分網頁的技術。 通俗的來說,這個技術其實應用非常廣泛,比如說,你在用網

原创 HTTP請求過程——Chrome瀏覽器Network詳解

HTTP請求過程——Chrome瀏覽器Network詳解 當我們使用Python進行爬蟲的時候,其實就是一個模擬的資源訪問返回過程,使用第三方庫用目的url向所在的服務器發出請求,網站的服務器接收到這個請求後進行處理和分析,然後返

原创 python批量爬取圖片並保存在本地文件夾下

python批量爬取圖片並保存在本地文件夾下 本人目前是山西農業大學軟件學院大三的一名學生,由於疫情嚴重,積極響應黨和國家的號召宅在家中,今日閒來無事,就對學院的官網下手啦,將官網上介紹學院的老師的照片全部爬取下來,留作畢業後自己