原创 python中定時執行爬蟲文件方法
我們爬取數據的時候，經常會希望定時運行爬蟲，一般在凌晨的時候執行，那樣掛服務器上就會減輕很大的負荷，所以我們就需要定時的任務，本文使用了scrapy框架，然後定時執行爬蟲代碼的方法。 聲明：此方法不一定是最好的方法，但是肯定是能達到效果的
2020-06-30 11:30:59
2
原创 java中的依賴關係和maven初識
一，什麼是java中的依賴關係： 依賴關係是指一個類對別一個類的依賴，比如說Employee類中有一個方法叫做TakeMoney(Bank bank)這個方法，在這個方法的參數中用到了Bank這個類，那麼這個時候可以說Employee類依
2020-06-30 10:47:00
2
原创 在scrapy框架中判斷數據庫中是否存在某個表來實現表中數據全量更新
現在有這麼個需求： 就是我有一個爬蟲腳本，我想把爬取到的數據存入到mysql數據庫裏去（這個是比較簡單的），同時我還想定時執行這個腳本文件，然後讓用戶能及時看到最新的數據，所以就出現一個問題就是如何保證數據庫裏的數據是最新的呢？ 這裏使用
2020-06-30 10:47:00
1
原创 java中http請求外部接口的時候傳遞sql語句過程記錄
第一次做這種對接外部（第三方）接口的開發。記錄一下： 介於保密的原因，外部接口就不公開了。我的需求是根據第三方提供的接口，查詢數據。但是我的請求是包含了sql語句的。類似於下面這樣的URL： http://X.X.X.X/tb/re?se
2020-06-30 10:47:00
1
原创 大白話講解SQL注入
先看一副有趣的漫畫 這幅畫就是sql注入的精華了。 什麼是SQL注入： SQL注入是一種非常常見的數據庫攻擊手段，SQL注入漏洞也是網絡世界中最普遍的漏洞之一。大家也許都聽過某某學長通過攻擊學校數據庫修改自己成績的事情，這些學長們一般
2020-06-30 10:46:50
原创 java使用sql語句中使用like來傳參數出現java.util.UnknownFormatConversionException:Conversion=
今天在修改一個很古老項目的時候，有一個需求就是要在sql查詢裏使用like來傳遞參數，進行模糊查詢。 如下所示： sql_Static_person = String.format( "select * from t_in
2020-06-30 10:46:50
原创 使用workbench導入excel中的數據
在平時的工作中，肯定會遇到這樣的問題，就是想要插入數據到數據庫的表裏，但是數據量很大，這樣插入就比較麻煩，所以我們可以把數據放入到excel裏，畢竟excel裏的數據操作起來會方便的多，大家都懂。 那麼如何從把excel中的數據批量導
2020-06-30 10:46:49
原创 初識數據倉庫
首先的疑問是什麼是數據倉庫？ 作爲理工科出身多多少少都會了解數據庫的概念，我也一樣，瞭解的層面可能只是知道數據庫是存儲我們很多系統裏用的數據的地方，可能也只是在這個層面了，對於數據倉庫的也只是停留在聽說的層面。 爲了瞭解什麼是數據倉庫，我
2020-06-30 10:46:49
原创 MySQL中通過SQL來獲得所有當年年月的解決辦法
我們在做項目的時候，很多時候我們只需要使用當前一年內的年月，而不用日期的具體的時間，目前很多提供的控件，可能要麼可以直接獲取年月日和具體的時間，要麼就是直接獲取年月日，那麼很多時候不適合我們的需求，不過我們可以通過編程的方
2020-06-30 10:46:49
1
原创 java.lang、java.io、java.net、java.util解釋整理
爲應對近期單位認證：整理點Java知識 首先整理Java常見的類庫： 1.Java.lang 這個 算是我們開發經常用到的基礎類了，包含的類有object超類，8種類型的包裝類，字符串類，線程類，異常類等 如下所示:圖來自：鏈接 異常處
2020-06-30 10:46:49
原创 java裏使用jsonarray獲取值判斷null值無效的解決辦法
項目需要使用的是net.sf.json.JSONArray的包，沒有使用阿里巴巴的 JSONArray oo =XXXXX; 在需要oo.get()的方法來判斷是不是null的時候，遇到了很大的坑，初始的想法就是： if(oo.get(
2020-06-30 10:46:49
原创 使用js技術在jsp頁面實現水印(時間和當前登錄用戶名)功能
出於安全的考慮，項目需要，需要在jsp的頁面顯示水印的功能，防止用戶信息泄露。 在js裏獲取系統當前時間： function init(){ var date=new Date(); //年 var year=date
2020-06-30 10:46:49
原创 可運行的最新的使用scrapy框架爬取鏈家租房數據
看了一圈網上很多爬取鏈家數據的爬蟲，但是由於鏈家已經把網頁結構換掉了，所以原來的網上代碼已經不能夠使用，剛寫了一個最新的爬蟲，可以獲取租房信息。 工具： python3.6 scrapy 1.6.0 框架 vscode 編輯器 基礎知
2020-06-09 08:40:00
1
原创 利用Scrapy框架爬取數據命令行保存成csv出現亂碼的解決辦法
Scrapy是一個很好的爬蟲框架，但是在我們把爬取的數據保存成csv的時候，我們常常會發現，保存下來的數據是亂碼，網上也搜索了很多中解決辦法，但是很多都是解決不了，先總結下來。 我們在命令行裏執行Scrapy框架的時候的步驟如下： 1
2020-06-09 08:40:00
原创 使用python 520表白吧
明天就是520了，使用python畫一束玫瑰送給妹子。部分代碼來自網絡。 代碼如下： import turtle turtle.penup() turtle.left(90) turtle.fd(200) turtle.pendown
2020-06-09 08:40:00