原创 python 抓取百度搜索名稱和路徑

python 新手筆記:利用python,根據搜索關鍵字,抓取其結果的名稱和路徑。   一、百度搜索參數介紹 pn :抓取第幾頁內容 cl :搜索的類型 3 爲網頁搜索 2爲新聞搜索 wd :搜索關鍵字 rn  :需要搜索多少條結果  

原创 @value 註解設置默認值

在使用spring3.0後,看到了它新增的實用@value註解,一下整理下@value註解設置默認值的方法。   首先需要在spring容器中引入properties文件,例子如下所示:   <bean id="propertyConf

原创 Spring Orika Bean Copy 屬性丟失問題說明

一、背景說明 考慮到bean複製性能問題,在SSM框架中使用引入了orkia 實現bean複製。上線一段時間後,發現部分線上機器出現bean複製後屬性丟失問題,重啓後正常 二、問題詳細說明 在線上機器使用orika 進行bean複製時,在

原创 JVM配置CMS調優實戰筆記

一、背景說明        由於原有項目未進行JVM配置,全部是用默認JVM配置,在壓測過程中TP99慘不忍睹,Young gc使用PS Scavenge,Full gc使用PS MarkSweep 二、JVM基礎知識        1)

原创 自構建多級緩存

一、背景說明         準備使用責任鏈模式,構建多級緩存鏈,依次逐級向下取值,直到取到值爲止。將取到的值再逐級賦值給未取到值的緩存級。 二、定義多級List 鏈路接口類Chain public interface Chain {

原创 Spring Mvc Mybatis中解決 jdbc dataSource 無法正常賦值問題${}

一、背景說明        新搭建了一個項目,框架使用的spring+spring Mvc+Mybatis ,數據庫使用的是MySql,項目可正常啓動,但是在功能中使用數據庫時就出現以下錯誤信息: ### Error updating

原创 藉助capstone解析JVM崩潰 hs_err_pid.log 日誌中的機器碼

一、背景說明     在項目正常啓動後,運營一段時間後,發現java進程死掉JVM崩潰,在項目服務器中生成hs_err_pid.log 錯誤日誌,下面介紹一下hs_err_pid.log 日誌中的 Instructions 信息的解析。

原创 nginx+lua access_by_lua_file 間接性404問題排查

一、背景說明 準備在項目中基於nginx搭建一個簡易網關,實現同一域名根據不同cookie代理不同docker功能,降低前端、移動端多業務線並行測試聯調成本。簡單來說就是服務端有多個測試環境docker分別部署不同業務需求代碼,通過在前端

原创 基於Spring IOC容器實現工具類靜態方法調用的三種方式

背景說明 在spring MVC 的項目中定義配置讀取工具類時,發現需要使用Spring IOC容器進行注入,原始方法就是直接使用@Autowired 將依賴類注入到工具類中,想要用工具類時也得需要藉助@Autowired進行注入,操作起

原创 深入淺出Https

一、帶着問題走進HTTPS 1.看到https首先想到什麼: SSL/TLS、數字證書、安全、加密、密文傳輸 2.https總共經過幾次加密: 2~3次 3.都用了哪幾種加密算法: 對稱加密、非對稱加密、數字簽名 4.這幾種加密算法都用在

原创 nginx OpenResty lua resty http 代理網關從無到有搭建

一、背景說明 準備在項目中基於nginx、OpenResty搭建一個簡易網關,實現同一域名根據不同cookie代理不同docker功能,降低前端、移動端多業務線並行測試聯調成本。簡單來說就是服務端有多個測試環境docker分別部署不同業務

原创 使用ForkJoinPool線程池調用 jdk 1.8 並行流parallelStream

一、背景說明 隨着Jdk 升級到1.8後,項目中使用parallelStream 等並行流調用方式逐漸增多,在進行jstack 查看線程時,發現大量的ForkJoinPool.commonPool-worker-xx線程,但是無法具體定位

原创 idea 通過正則表達式找到不匹配字符串內容進行全局查找、替換

背景說明 在項目中需要找到不規範代碼進行全局查找,替換成規範代碼。 例如:找到所有屬性無註釋的代碼,idea中快捷鍵(ctrl+r) 執行替換操作邏輯如下所示: 注:同樣的正則也支持在idea中進行全局查找、替換,快捷鍵(ctrl+shi

原创 node 開發筆記

一、node下載安裝 下載地址:https://nodejs.org/download/release/v0.10.28/ ,版本是v0.10.28 window 系統直接下載.msi文件,雙擊安裝。其安裝路徑可選擇路徑安裝。   二、

原创 MySql常用sql語句學習筆記

  在MySql中常用的幾種查詢:   一、根據條件按字段分組查詢,條數大於1的所有數據列表: select a.type,count(1) as sum from user a where a.type >2 group by a.