在處理百萬級的數據時,經常需要對數據庫中的數據進行增刪改查操作,由於數據量大,進行Query的時候在效率上還是可以接受,但進行增刪改的時候,如果採用一次一條記錄操作,則效率大大的降低,因此,需要進行批量操作。
本文利用java在eclipse環境下連接mysql數據庫進行批量操作。
操作原理很簡單,主要利用Betch函數,進行批量操作。
Connection conn = DriverManager.getConnection(url,name,password);
//以下爲增刪改的sql語句樣式
String add = "insert into "+tablename + " values(?,?,?,?,?)"";
String delete ="delete from tablename where id = ?";
String update = "update tablename set attribute1 = ? where attribute2 = ? ";
//創建連接池,以add語句爲例
PreparedStatement ps = conn.prepareStatement(add);
//關閉連接的自動提交
conn.setAutoCommit(false);
//循環語句中將操作加入到betch中
while(){
ps.setString(1, str[0]);
ps.setString(2, str[1]);
ps.setString(3, str[2]);
……
//完成一條語句的賦值
ps.addBetch();
}
//執行批量操作(如果需要設置以1000條爲單位插入一次,可以利用計算器在1000條的時候選擇執行ps.executeBetch()函數
ps.executeBetch();
//提交事務
conn.commit();
原理解釋:使用betch實際上是把多條sql語句合併成一條multi value的sql語句,例如生成的add語句爲insert tablename values (v1,v2,v3,v4,v5),(v1,v2,v3,v4,v5)……,從而減少了網絡延遲時間以及磁盤io時間,極大的提高了程序的執行效率。