原创 JAVA多線程網絡爬蟲的代碼實現

因爲項目需要,做了一個網絡爬蟲的小DEMO。爲實現高性能的網絡爬蟲,首先考慮採用APACE的HttpClient進行頁面的採集和解析,HttpClient可以很方便的通過URL獲得遠程內容,例如一個小程序:     CloseableHtt

原创 通過JMX遠程監控JBOSS7.1應用服務器

    通過JMX可以調試或者監控運行在JVM上的應用程序,使用最多的是JConsole(所有版本JDK都自帶JConsole)和VisualVM(可以通過Oracle頁面下載,JDK6以上也自帶JVisualVM)。        1、在

原创 python環境測試MySQLdb、DBUtil、sqlobject性能

   首先介紹下MySQLdb、DBUtil、sqlobject:   (1)MySQLdb 是用於Python連接Mysql數據庫的接口,它實現了 Python 數據庫 API 規範 V2.0,基於 MySQL C API 上建立的。除

原创 多併發系統架構的一些優化思路

多併發是網站的基本要求,大型網站的併發量甚至會達到數萬,單臺服務器的併發用戶也會達到數百,例如淘寶的雙十一、商務網站的促銷活動。 一、多少線程合適 多併發又可以分爲CPU密集型和IO密集型。(1)CPU密集型即需要非常多的CPU計算資源,如

原创 python環境測試MySQLdb、DBUtil、sqlobject性能

   首先介紹下MySQLdb、DBUtil、sqlobject:   (1)MySQLdb 是用於Python連接Mysql數據庫的接口,它實現了 Python 數據庫 API 規範 V2.0,基於 MySQL C API 上建立的。除

原创 持續集成:採用Xvfb+Selenium+Firefox搭建linux服務器下的自動化測試環境

         自動化測試屬於軟件測試的一部分,QTP、LoadRunner等都可以編寫自動化測試腳本,但是QTP、LoadRunner等工具畢竟還需要人工操作,在持續集成思想下,軟件應該自動發佈並且自動測試,這樣可以加快軟件的開發測試周

原创 JAVA多線程網絡爬蟲的代碼實現

因爲項目需要,做了一個網絡爬蟲的小DEMO。爲實現高性能的網絡爬蟲,首先考慮採用APACE的HttpClient進行頁面的採集和解析,HttpClient可以很方便的通過URL獲得遠程內容,例如一個小程序:     CloseableHtt

原创 PMD和FindBug的代碼質量檢查

   去年做項目團隊的開發規範管理,整理了相關工具的使用方法,其中PMD、FindBug、CheckStyle是最常用的幾個工具,當然這類工具不能完全替代“走查”。工具目的檢查項FindBugs檢查.class基於Bug Patterns概

原创 通過JMX遠程監控JBOSS7.1應用服務器

    通過JMX可以調試或者監控運行在JVM上的應用程序,使用最多的是JConsole(所有版本JDK都自帶JConsole)和VisualVM(可以通過Oracle頁面下載,JDK6以上也自帶JVisualVM)。        1、在

原创 多併發系統架構的一些優化思路

多併發是網站的基本要求,大型網站的併發量甚至會達到數萬,單臺服務器的併發用戶也會達到數百,例如淘寶的雙十一、商務網站的促銷活動。 一、多少線程合適 多併發又可以分爲CPU密集型和IO密集型。(1)CPU密集型即需要非常多的CPU計算資源,如

原创 Python+Selenium實現股票板塊數據模擬抓取

selenium 是一個web的自動化測試工具,支持多平臺:windows、linux、MAC ,支持多瀏覽器:ie、ff、safari、opera、chrome,支持多語言:例如C、JAVA、Python等,支持分佈式測試用例的執行,可以

原创 Python獲取股票歷史數據和收盤數據的代碼實現

       各種股票軟件,例如通達信、同花順、大智慧,都可以實時查看股票價格和走勢,做一些簡單的選股和定量分析,但是如果你想做更復雜的分析,例如迴歸分析、關聯分析等就有點捉襟見肘,所以最好能夠獲取股票歷史及實時數據並存儲到數據庫,然後再通

原创 SVN集成Checkstyle實現代碼自動檢查

日常做開發管理,開發經理或者項目經理最煩惱的是怎麼控制團隊成員的代碼質量,團隊成員背景不同、經驗不同,開發出來的產品也參差不齊,如果只靠代碼走查,工作量太大,效果也不好,如果靠事後檢查,或者出問題了再來追責,效果也不好。因此需要考慮一種事前

原创 VMWare下虛擬機NAT共享方式上網的配置說明

 操作系統:win10 64位虛擬機:Vmware workstation 10Linux 操作系統:Centos Linux 32位選用的共享上網方式:本機使用無線網絡上網方式,虛擬機使用NAT 方式共享上網。   一、宿主機配置1. 

原创 HttpClient實現網絡訪問詳解1

1、HttpClient的最常用功能是execute()方法。執行一次execute()會包括了一次或多次request請求 - response響應事件。HttpClient會將request請求發送給目標服務器以取得response響應