Java應用程序訪問數據庫的基本原理
在Java語言中,JDBC(Java DataBase Connection)是應用程序與數據庫溝通的橋樑,
即Java語言通過JDBC技術訪問數據庫。JDBC是一種“開放”的方案,它爲數據庫應用開發人員﹑數據庫前臺工具開發人員提供了一種標準的應用程序設計接口,使開發人員可以用純Java語言編寫完整的數據庫應用程序。JDBC提供兩種API,分別是面向開發人員的API和麪向底層的JDBC驅動程序API,底層主要通過直接的JDBC驅動和JDBC-ODBC橋驅動實現與數據庫的連接。
一般來說,Java應用程序訪問數據庫的過程(如圖1所示)是:
①裝載數據庫驅動程序;
②通過JDBC建立數據庫連接;
③訪問數據庫,執行SQL語句;
④斷開數據庫連接。
圖1 Java數據庫訪問機制
JDBC作爲一種數據庫訪問技術,具有簡單易用的優點。但使用這種模式進行Web應用
程序開發,存在很多問題:首先,每一次Web請求都要建立一次數據庫連接。建立連接是一個費時的活動,每次都得花費0.05s~1s的時間,而且系統還要分配內存資源。這個時間對於一次或幾次數據庫操作,或許感覺不出系統有多大的開銷。可是對於現在的Web應用,尤其是大型電子商務網站,同時有幾百人甚至幾千人在線是很正常的事。在這種情況下,頻繁的進行數據庫連接操作勢必佔用很多的系統資源,網站的響應速度必定下降,嚴重的甚至會造成服務器的崩潰。不是危言聳聽,這就是制約某些電子商務網站發展的技術瓶頸問題。其次,對於每一次數據庫連接,使用完後都得斷開。否則,如果程序出現異常而未能關閉,將會導致數據庫系統中的內存泄漏,最終將不得不重啓數據庫。還有,這種開發不能控制被創建的連接對象數,系統資源會被毫無顧及的分配出去,如連接過多,也可能導致內存泄漏,服務器崩潰。
數據庫連接池(connection pool)的工作原理
1、基本概念及原理
由上面的分析可以看出,問題的根源就在於對數據庫連接資源的低效管理。我們知道,
對於共享資源,有一個很著名的設計模式:資源池(Resource Pool)。該模式正是爲了解決資源的頻繁分配﹑釋放所造成的問題。爲解決上述問題,可以採用數據庫連接池技術。數據庫連接池的基本思想就是爲數據庫連接建立一個“緩衝池”。預先在緩衝池中放入一定數量的連接,當需要建立數據庫連接時,只需從“緩衝池”中取出一個,使用完畢之後再放回去。我們可以通過設定連接池最大連接數來防止系統無盡的與數據庫連接。更爲重要的是我們可以通過連接池的管理機制監視數據庫的連接的數量﹑使用情況,爲系統開發﹑測試及性能調整提供依據。連接池的基本工作原理見下圖2。
圖2 連接池的基本工作原理
2、服務器自帶的連接池
JDBC的API中沒有提供連接池的方法。一些大型的WEB應用服務器如BEA的WebLogic和IBM的WebSphere等提供了連接池的機制,但是必須有其第三方的專用類方法支持連接池的用法。
連接池關鍵問題分析
1、併發問題
爲了使連接管理服務具有最大的通用性,必須考慮多線程環境,即併發問題。這個問題相對比較好解決,因爲Java語言自身提供了對併發管理的支持,使用synchronized關鍵字即可確保線程是同步的。使用方法爲直接在類方法前面加上synchronized關鍵字,如:
public synchronized Connection getConnection()
2、多數據庫服務器和多用戶
對於大型的企業級應用,常常需要同時連接不同的數據庫(如連接Oracle和Sybase)。如何連接不同的數據庫呢?我們採用的策略是:設計一個符合單例模式的連接池管理類,在連接池管理類的唯一實例被創建時讀取一個資源文件,其中資源文件中存放着多個數據庫的url地址(<poolName.url>)﹑用戶名(<poolName.user>)﹑密碼(<poolName.password>)等信息。如tx.url=172.21.15.123:5000/tx_it,tx.user=yang,tx.password=yang321。根據資源文件提供的信息,創建多個連接池類的實例,每一個實例都是一個特定數據庫的連接池。連接池管理類實例爲每個連接池實例取一個名字,通過不同的名字來管理不同的連接池。
對於同一個數據庫有多個用戶使用不同的名稱和密碼訪問的情況,也可以通過資源文件處理,即在資源文件中設置多個具有相同url地址,但具有不同用戶名和密碼的數據庫連接信息。
3、事務處理
我們知道,事務具有原子性,此時要求對數據庫的操作符合“ALL-ALL-NOTHING”原則,即對於一組SQL語句要麼全做,要麼全不做。
在Java語言中,Connection類本身提供了對事務的支持,可以通過設置Connection的AutoCommit屬性爲false,然後顯式的調用commit或rollback方法來實現。但要高效的進行Connection複用,就必須提供相應的事務支持機制。可採用每一個事務獨佔一個連接來實現,這種方法可以大大降低事務管理的複雜性。
4、連接池的分配與釋放
連接池的分配與釋放,對系統的性能有很大的影響。合理的分配與釋放,可以提高連接的複用度,從而降低建立新連接的開銷,同時還可以加快用戶的訪問速度。
對於連接的管理可使用空閒池。即把已經創建但尚未分配出去的連接按創建時間存放到一個空閒池中。每當用戶請求一個連接時,系統首先檢查空閒池內有沒有空閒連接。如果有就把建立時間最長(通過容器的順序存放實現)的那個連接分配給他(實際是先做連接是否有效的判斷,如果可用就分配給用戶,如不可用就把這個連接從空閒池刪掉,重新檢測空閒池是否還有連接);如果沒有則檢查當前所開連接池是否達到連接池所允許的最大連接數(maxConn),如果沒有達到,就新建一個連接,如果已經達到,就等待一定的時間(timeout)。如果在等待的時間內有連接被釋放出來就可以把這個連接分配給等待的用戶,如果等待時間超過預定時間timeout,則返回空值(null)。系統對已經分配出去正在使用的連接只做計數,當使用完後再返還給空閒池。對於空閒連接的狀態,可開闢專門的線程定時檢測,這樣會花費一定的系統開銷,但可以保證較快的響應速度。也可採取不開闢專門線程,只是在分配前檢測的方法。
5、連接池的配置與維護
連接池中到底應該放置多少連接,才能使系統的性能最佳?系統可採取設置最小連接數(minConn)和最大連接數(maxConn)來控制連接池中的連接。最小連接數是系統啓動時連接池所創建的連接數。如果創建過多,則系統啓動就慢,但創建後系統的響應速度會很快;如果創建過少,則系統啓動的很快,響應起來卻慢。這樣,可以在開發時,設置較小的最小連接數,開發起來會快,而在系統實際使用時設置較大的,因爲這樣對訪問客戶來說速度會快些。最大連接數是連接池中允許連接的最大數目,具體設置多少,要看系統的訪問量,可通過反覆測試,找到最佳點。
如何確保連接池中的最小連接數呢?有動態和靜態兩種策略。動態即每隔一定時間就對連接池進行檢測,如果發現連接數量小於最小連接數,則補充相應數量的新連接,以保證連接池的正常運轉。靜態是發現空閒連接不夠時再去檢查。
連接池的實現
1、連接池模型
本文討論的連接池包括一個連接池類(DBConnectionPool)和一個連接池管理類(DBConnetionPoolManager)。連接池類是對某一數據庫所有連接的“緩衝池”,主要實現以下功能:①從連接池獲取或創建可用連接;②使用完畢之後,把連接返還給連接池;③在系統關閉前,斷開所有連接並釋放連接佔用的系統資源;④還能夠處理無效連接(原來登記爲可用的連接,由於某種原因不再可用,如超時,通訊問題),並能夠限制連接池中的連接總數不低於某個預定值和不超過某個預定值。
連接池管理類是連接池類的外覆類(wrapper),符合單例模式,即系統中只能有一個連接池管理類的實例。其主要用於對多個連接池對象的管理,具有以下功能:①裝載並註冊特定數據庫的JDBC驅動程序;②根據屬性文件給定的信息,創建連接池對象;③爲方便管理多個連接池對象,爲每一個連接池對象取一個名字,實現連接池名字與其實例之間的映射;④跟蹤客戶使用連接情況,以便需要是關閉連接釋放資源。連接池管理類的引入主要是爲了方便對多個連接池的使用和管理,如系統需要連接不同的數據庫,或連接相同的數據庫但由於安全性問題,需要不同的用戶使用不同的名稱和密碼。
2、連接池實現
//DbConnPool.java數據庫連接池具體實現類
package com.pcedu.shangyt.pool;
import java.util.*;
import java.sql.*;
public class DbConnPool {
private String dbUserName;
private String dbPassWord;
private String dbConnUrl;
private int maxConn;
private int checkedOut;//當前連接數
private ArrayList<Connection> freeConn;
/*
* 初始化連接池
*/
public DbConnPool(String dbUserName, String dbPassWord, String dbConnUrl, int maxConn) {
super();
// TODO Auto-generated constructor stub
this.dbUserName = dbUserName;
this.dbPassWord = dbPassWord;
this.dbConnUrl = dbConnUrl;
this.maxConn = maxConn;
this.freeConn=new ArrayList();
}
/*
*
* 從連接池獲得一個可用連接.如沒有空閒的連接且當前連接數小於最大連接
* 數限制,則創建新連接.如原來登記爲可用的連接不再有效,則從向量刪除之,
* 然後遞歸調用自己以嘗試新的可用連接.
*/
public synchronized Connection getDbConn()
{
Connection conn=null;
if(freeConn.size()>0)
{
conn=freeConn.get(0);
freeConn.remove(0);
try {
if(conn.isClosed())
{
conn=getDbConn();
}
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}else if(maxConn==0||checkedOut<maxConn)
{
conn=newDbConn();
}
if(conn!=null){
checkedOut++;
}
return(conn);
}
/*
* 從連接池獲取可用連接.可以指定客戶程序能夠等待的最長時間
*/
public synchronized Connection getDbConn(long timeout)
{
long starttime=System.currentTimeMillis();
Connection conn;
while((conn=getDbConn())==null)
{
try {
wait(timeout);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
if(System.currentTimeMillis()-starttime>=timeout)
{
return null;
}
}
return conn;
}
public synchronized Connection newDbConn()
{
Connection conn=null;
try{
if(this.dbUserName==null)
{
conn=DriverManager.getConnection(this.dbConnUrl);
}
else
{
conn=DriverManager.getConnection(this.dbConnUrl,this.dbUserName,this.dbPassWord);
}
}catch(SQLException ex){
ex.printStackTrace();
}
return conn;
}
/**
* 將不再使用的連接返回給連接池
*
* @param con 客戶程序釋放的連接
*/
public synchronized void freeDBConnection(Connection conn){
freeConn.add(conn);
checkedOut--;
notifyAll(); //重新啓動wait()所在的函數
}
/*
* 關閉所有的連接
*/
public synchronized void release(){
Iterator<Connection> iter=freeConn.iterator();
Connection conn;
while(iter.hasNext()){
try{
conn=iter.next();
conn.close();
}catch(SQLException ex){
ex.printStackTrace(); }
}
while(iter.hasNext())
{
freeConn.remove(iter.next());
}
}
}
//外觀模式+單例模式的封裝做爲連接池類的子接口便於操作
package com.pcedu.shangyt.pool;
import java.sql.*;
import java.util.*;
import java.io.*;
/*
* 使用Fa?ade模式+單例模式實現數據庫連接池技術
*
*/
public class DbConnFacade {
private static DbConnFacade instance=null;
private DbConnPool pool;
private int client;
private Properties dbProps;
ArrayList drivers;
public DbConnFacade()
{
}
public void init()
{drivers=new ArrayList();
InputStream is=this.getClass().getResourceAsStream("db.properties");
try{
dbProps=new Properties();
dbProps.load(is);
}catch(Exception ex){
System.out.println("Miss Resource File "+ex.getMessage());
}
loadDriver();
createPool();
}
public void loadDriver(){
String driverClasses=dbProps.getProperty("dbDriver");
StringTokenizer st =new StringTokenizer(driverClasses);
while(st.hasMoreElements()){
String driverClassName=st.nextToken().trim();
try{
Driver driver=(Driver)Class.forName(driverClassName).newInstance();
DriverManager.registerDriver(driver);
drivers.add(driver);
}catch(Exception ex){
ex.printStackTrace();
}
}
}
public void createPool(){
String userName=dbProps.getProperty("dbUserName");
String password=dbProps.getProperty("dbPassword");
String url=dbProps.getProperty("connectionURL");
int maxConn;
try{
maxConn=Integer.valueOf(dbProps.getProperty("maxConnection","0")).intValue();
}catch(NumberFormatException ex){
maxConn=0;
}
pool=new DbConnPool(userName,password,url,maxConn);
} //parse the file, load username,password,url and maxconnection in
public synchronized int getClientCount(){
return(client);
}
//facade外觀模式
public Connection getDBConn(){
if(pool != null){
return(pool.getDbConn());
}
return(null);
}
public Connection getDbConn(long timeout){
if(pool != null){
return(pool.getDbConn(timeout));
}
return(null);
}//act as facade
public synchronized void freeDBConnection(Connection conn){
if(pool != null){
pool.freeDBConnection(conn);
}
}//act as facade
public void release(){
if(this.client != 0){
return;
}
if(pool != null){
pool.release();
Iterator iter=drivers.iterator();
while(iter.hasNext()){
Driver driver=(Driver)iter.next();
try{
DriverManager.deregisterDriver(driver);
}catch(Exception ex){
System.out.println("Can not deregister driver "+driver.getClass().getName());
}
}
}
}
}
轉載處:http://yangchao20020.blog.163.com/blog/static/4838224720092910352753/