原创 他來了，程序員的指路明燈來了！！！
導讀 現在培訓機構日益增多，每年有着大量的人員向市場輸出，初級程序員日益飽和，很多小夥伴面臨以下窘境： 整天加班寫着crud，忍受着領導和產品的無理需求。 想要跳槽，但是沒底氣。 天天下定決心學習深入的內容，但是往往隔天就忘
2020-03-16 10:42:12
原创 SpringBoot整合分頁插件
導讀 很久以前的項目分頁查詢的話大概會用limit，如果要統計總數還需要使用count，總之大多數情況下都是很麻煩的一件事，特別是使用Mybatis。 分頁插件確實解放了我們的雙手，不用再寫重複的sql，利用mybatis的插件
2020-03-12 20:36:33
原创 SpringBoot整合JTA
導讀 JTA，即Java Transaction API，JTA允許應用程序執行分佈式事務處理——在兩個或多個網絡計算機資源上訪問並且更新數據。JDBC驅動程序的JTA支持極大地增強了數據訪問能力。 JTA是基於XA標準制定的，
2020-03-12 20:36:33
1
原创 scrapy架構初探
scrapy架構初探 引言 Python即時網絡爬蟲啓動的目標是一起把互聯網變成大數據庫。單純的開放源代碼並不是開源的全部，開源的核心是“開放的思想”，聚合最好的想法、技術、人員，所以將會參照衆多領先產品，比如，Scrapy，
2020-02-23 18:37:14
原创 Java IO 學習筆記五
管道流 管道流的主要作用是可以進行兩個線程間的通訊，分爲管道輸出流(PipedOutputStream)、管道輸入流（PipedInputStream），如果想要進行管道輸出，則必須要把輸出流連在輸入流之上，在PipedOut
2020-02-23 18:37:14
原创 Java IO學習筆記三
Java IO學習筆記三 在整個IO包中，實際上就是分爲字節流和字符流，但是除了這兩個流之外，還存在了一組字節流-字符流的轉換類。 OutputStreamWriter：是Writer的子類，將輸出的字符流變爲字節流，即：將一
2020-02-23 18:37:14
原创 scrapy代理的設置
scrapy代理的設置 在我的上一篇文章介紹了scrapy下載器中間件的使用,這裏的scrapyIP的代理就是用這個原理實現的，重寫了下載器中間件的process_request(self,request,spider)這個函數
2020-02-23 18:37:14
原创 Java IO學習筆記四
內存操作流 之前的所有的流操作都是針對文件的，但是有時候只是想要實現數據間轉換，此時如果我們想要創建一個文件然後再刪除文件，那樣顯得有點麻煩，因此此時的內存操作流就顯得很適合這類的操作，因爲它只是在內存中存儲，並不會真正的創建文
2020-02-23 18:37:14
原创 scrapy設置"請求池"
scrapy設置”請求池” 引言 相信大家有時候爬蟲發出請求的時候會被ban，返回的是403錯誤，這個就是請求頭的問題，其實在python發出請求時，使用的是默認的自己的請求頭，網站管理者肯定會不允許機器訪問的，但是有些比較lo
2020-02-23 18:37:13
原创 scrapy中的下載器中間件
scrapy中的下載器中間件 下載中間件 下載器中間件是介於Scrapy的request/response處理的鉤子框架。 是用於全局修改Scrapy request和response的一個輕量、底層的系統。 編寫下載器中間件
2020-02-23 18:37:13
原创 Java IO學習筆記一
Java IO學習筆記一 File File是文件和目錄路徑名的抽象表示形式，總的來說就是java創建刪除文件目錄的一個類庫，但是作用不僅僅於此，詳細見官方文檔 構造函數 File(File parent, String
2020-02-23 18:37:13
原创 數據結構之跳躍鏈表
數據結構之跳躍鏈表 簡介 總的來說跳躍鏈表最大的好處就是提高了檢索了的速率，可以說說是大幅度的提高，相對於單鏈表來說是一種高效率的檢索結構 原理 跳躍表的結構是：假如底層有10個節點， 那麼底層的上一層理論上就有5個節點，再
2020-02-23 18:37:13
原创 scrapy提升篇之配置
scrapy提升篇之配置 增加併發 併發是指同時處理的request的數量。其有全侷限制和局部(每個網站)的限制。 Scrapy默認的全局併發限制對同時爬取大量網站的情況並不適用，因此您需要增加這個值。 增加多少取決於您的爬蟲
2020-02-23 18:37:13
原创 scrapy初試
scrapy初試 創建項目 打開cmd，在終端輸入scrapy startproject tutorial,這裏將在指定的文件夾下創建一個scrapy工程 其中將會創建以下的文件： scrapy.cfg: 項目的配置文件
2020-02-23 18:37:13
原创 java實現數學表達式的運算(Stack)
這段程序主要是利用了各個運算符之間的優先級，共設置了兩個棧，一個用來存儲數據，一個用來存儲操作符，代碼中做了詳細的註釋，這裏就不再贅述了，算數表示比如(1+2-4)*3-(2+3)*4 package demo; impo
2020-02-23 18:37:13