如何提高效率SQLITE 大數據量操作效率

今天有個朋友測試 SQLite,然後得出的結論是:SQLite 效率太低,批量插入1000條記錄,居然耗時 2 分鐘!

using System.Data; using System.Data.Common; using System.Data.SQLite; // 創建數據庫文件 File.Delete("test1.db3"); SQLiteConnection.CreateFile("test1.db3"); DbProviderFactory factory = SQLiteFactory.Instance; using (DbConnection conn = factory.CreateConnection()) { // 連接數據庫 conn.ConnectionString = "Data Source=test1.db3"; conn.Open(); // 創建數據表 string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)"; DbCommand cmd = conn.CreateCommand(); cmd.Connection = conn; cmd.CommandText = sql; cmd.ExecuteNonQuery(); // 添加參數 cmd.Parameters.Add(cmd.CreateParameter()); // 開始計時 Stopwatch watch = new Stopwatch(); watch.Start(); // 連續插入1000條記錄 for (int i = 0; i < 1000; i++) { cmd.CommandText = "insert into [test1] ([s]) values (?)"; cmd.Parameters[0].Value = i.ToString(); cmd.ExecuteNonQuery(); } // 停止計時 watch.Stop(); Console.WriteLine(watch.Elapsed); }

哎~~~~ 一個常識性的錯誤,我加幾行代碼 (新增代碼標記 "// <-------------------")。

using System.Data; using System.Data.Common; using System.Data.SQLite; // 創建數據庫文件 File.Delete("test1.db3"); SQLiteConnection.CreateFile("test1.db3"); DbProviderFactory factory = SQLiteFactory.Instance; using (DbConnection conn = factory.CreateConnection()) { // 連接數據庫 conn.ConnectionString = "Data Source=test1.db3"; conn.Open(); // 創建數據表 string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)"; DbCommand cmd = conn.CreateCommand(); cmd.Connection = conn; cmd.CommandText = sql; cmd.ExecuteNonQuery(); // 添加參數 cmd.Parameters.Add(cmd.CreateParameter()); // 開始計時 Stopwatch watch = new Stopwatch(); watch.Start(); DbTransaction trans = conn.BeginTransaction(); // <------------------- try { // 連續插入1000條記錄 for (int i = 0; i < 1000; i++) { cmd.CommandText = "insert into [test1] ([s]) values (?)"; cmd.Parameters[0].Value = i.ToString(); cmd.ExecuteNonQuery(); } trans.Commit(); // <------------------- } catch { trans.Rollback(); // <------------------- throw; // <------------------- } // 停止計時 watch.Stop(); Console.WriteLine(watch.Elapsed); }

執行一下,耗時 0.2 秒。這差距是不是太大了點? 

爲什麼只是簡單啓用了一個事務會有這麼大的差距呢?很簡單,SQLite 缺省爲每個操作啓動一個事務,那麼原代碼 1000 次插入起碼開啓了 1000 個事務,"事務開啓 + SQL 執行 + 事務關閉" 自然耗費了大量的時間,這也是後面顯示啓動事務後爲什麼如此快的原因。其實這是數據庫操作的基本常識,大家要緊記,不好的代碼效率差的不是一點半點。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章