原创 爬蟲學習——Scrapy框架學習(二)

接上一篇 三、requests庫和Scrapy庫的比較 相同點: 1、兩者都可以進行頁面請求和爬取,python爬蟲的兩個重要技術路線 2、兩者可用性都好,文檔豐富,入門簡單 3、兩者都沒有處理js、提交表單、應對驗證碼等功能(可擴展)

原创 爬蟲學習——Scrapy框架學習(三)

接前面博客 Scrapy爬蟲的第一個實例 演示HTML頁面地址:http://python123.io/ws/demo.html 文件名稱:demo.html 產生步驟: 1、建立一個Scrapy爬蟲工程 選取一個目錄,D:\pyth

原创 上手快應用(一)

最近要參加比賽,所以上手了快應用 快應用不做過多解釋 主要是配置自己的第一個項目 快應用官網:https://www.quickapp.cn/ 一、建造第一個項目TheFirstQuickApp 1、安裝node.js 官網:https:

原创 LeetCode刷題之路(二)(11~20)

繼續我們的刷題之旅 十一    盛最多水的容器 十二    整數轉羅馬數字 十三    羅馬數字轉整數 十五    三數之和 十六    最接近的三數之和 十七    電話號碼的字母組合 十八    四數之和 十九    刪除鏈表的倒數第

原创 ubuntu之C++使用openssl

老師佈置了一項任務,openssl中的密碼算法的使用 然後我找到了我的虛擬機中的ubuntu16,發現裏面有openssl,很好! 那我如何寫一個C++程序來用到openssl呢?肯定得include,然後我寫了一發測試: #inclu

原创 創新實訓——005

本篇文章介紹Vue.js(以下簡稱vue)的組件化特性,非常好用 組件化 爲什麼當時我選擇了vue,因爲在我接觸爲數不多的前端框架中,vue的組件化特性驚豔到了我,組件化的意思就是指頁面是可以由一個個組件拼接起來的。 比如所有頁面

原创 爬蟲學習——Scrapy框架學習(四)

接之前的博客內容 Scrapy爬蟲的基本使用 步驟: 1、創建一個工程和Spider模板; 2、編寫Spider; 3、編寫Item Pipeline; 4、優化配置策略 Scrapy爬蟲的數據類型: 1、Reqeust類(向網絡中提交請

原创 創新實訓——002

上篇文章中基本環境已配置好,下面開始具體的系統搭建了。 首先我要先去了解redis,以便後續的實時數據處理。 redis redis是鍵值對存儲的代表,支持的數據類型包括string、list、set和zset等,把數據加載到內存

原创 爬蟲學習——Scrapy框架學習(五)(股票數據Scrapy爬蟲實例及其爬取速度優化)

“股票數據Scrapy爬蟲”實例介紹 功能描述: 技術路線:scrapy 目標:獲取上交所和深交所所有股票的名稱和交易信息 輸出:保存到文件中 數據網站的確定: 獲取股票列表:     東方財富網:http://quote.eastmon

原创 創新實訓——003

之前後端本來想用spring boot的,但是之前並未與redis一起使用過,所以後端換到flask,發現flask上手比較簡單。 本篇博客來學習下flask 參考文檔:flask參考文檔 flask安裝 pycharm下新建工程

原创 創新實訓——001

前言 報名了學校的創新實訓,小組的主題是“WEB訪問日誌分析與入侵檢測可視化系統”,我負責可視化模塊。 項目地址 github:項目倉庫 項目博客:項目博客 技術路線 前端 前端框架我選用Vue.js,官方網址:Vue.js

原创 LeetCode刷題之路(一)(1~10)

突然想起有一個做題的網站(LeetCode)地址:https://leetcode-cn.com/,心血來潮,於是註冊做了第一題“兩數之和” 感覺非常有意思,因爲它是給定你初始格式,讓你來完成裏面的函數,和之前完全由自己寫又不一樣,上來第

原创 Java(eclipse)通過jdbc連接mysql(navicat)

今天我將介紹一下如何讓Java連接到MySQL數據庫 工具:eclipse+mysql+navicat 首先我們先下載MySQL與navicat mysql的下載網址:https://dev.mysql.com/downloads/win

原创 新冠疫情歷史數據(COVID-19-Data)

希望蒐集的數據可以幫助一些人吧! 項目地址:COVID-19-Data 項目說明: 本倉庫不定期提供新型冠狀病毒(COVID-19)疫情歷史數據,數據來自全球新冠病毒最新實時疫情地圖_丁香園,非常感謝! 提供csv格式的數據,有:

原创 LeetCode刷題之路(三)

繼續刷題! 二十一    合併兩個有序鏈表 二十二    括號生成 二十六    刪除排序數組中的重複項 二十七    移除元素 二十八    實現strStr() 二十一    合併兩個有序鏈表 我是把第二條鏈往第一條鏈上加的,然後我