Python數據庫編程全指南SQLite和MySQL實踐

本文分享自華爲雲社區《Python數據庫編程全指南SQLite和MySQL實踐》，作者： 檸檬味擁抱。

1. 安裝必要的庫

首先，我們需要安裝Python的數據庫驅動程序，以便與SQLite和MySQL進行交互。對於SQLite，Python自帶了支持；而對於MySQL，我們需要安裝額外的庫，如mysql-connector-python。

# 安裝 MySQL 連接器
pip install mysql-connector-python

2. 連接SQLite數據庫

SQLite是一種輕量級的嵌入式數據庫，無需服務器即可使用。以下是如何連接並操作SQLite數據庫的示例代碼：

import sqlite3

# 連接到 SQLite 數據庫
conn = sqlite3.connect('example.db')

# 創建一個遊標對象
cursor = conn.cursor()

# 創建表
cursor.execute('''CREATE TABLE IF NOT EXISTS users
                  (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)''')

# 插入數據
cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Alice', 30))
cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Bob', 25))

# 查詢數據
cursor.execute("SELECT * FROM users")
rows = cursor.fetchall()
for row in rows:
    print(row)

# 提交併關閉連接
conn.commit()
conn.close()

3. 連接MySQL數據庫

MySQL是一種常見的關係型數據庫管理系統。使用Python連接MySQL需要使用相應的庫，比如mysql-connector-python。以下是連接並操作MySQL數據庫的示例代碼：

import mysql.connector

# 連接到 MySQL 數據庫
conn = mysql.connector.connect(
    host="localhost",
    user="username",
    password="password",
    database="mydatabase"
)

# 創建一個遊標對象
cursor = conn.cursor()

# 創建表
cursor.execute('''CREATE TABLE IF NOT EXISTS users
                  (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255), age INT)''')

# 插入數據
sql = "INSERT INTO users (name, age) VALUES (%s, %s)"
val = ("Alice", 30)
cursor.execute(sql, val)

# 查詢數據
cursor.execute("SELECT * FROM users")
rows = cursor.fetchall()
for row in rows:
    print(row)

# 提交併關閉連接
conn.commit()
conn.close()

4. 代碼解析

• 連接數據庫：使用sqlite3.connect()連接SQLite數據庫，使用mysql.connector.connect()連接MySQL數據庫。

• 創建表：通過執行SQL語句創建表，使用cursor.execute()方法執行。

• 插入數據：執行插入數據的SQL語句，使用cursor.execute()方法並傳入參數。

• 查詢數據：執行查詢數據的SQL語句，使用cursor.execute()方法，然後使用cursor.fetchall()獲取所有查詢結果。

• 提交和關閉連接：對於SQLite，使用conn.commit()提交事務並使用conn.close()關閉連接。對於MySQL，同樣使用conn.commit()提交事務，但需要使用conn.close()關閉連接。

通過這些示例代碼，你可以輕鬆地使用Python連接和操作SQLite和MySQL數據庫。務必記住在實際應用中，要處理好異常情況，並採取安全措施，如防止SQL注入等。

5. 數據庫連接參數

在連接數據庫時，需要提供一些參數以確保正確的連接。對於SQLite，只需提供數據庫文件的路徑即可。而對於MySQL，除了數據庫名稱外，還需要提供主機名、用戶名和密碼等信息。

• 對於SQLite連接：

  • sqlite3.connect('example.db')

• 對於MySQL連接：

  conn = mysql.connector.connect(
      host="localhost",
      user="username",
      password="password",
      database="mydatabase"
  )

6. 數據庫操作的異常處理

在實際應用中，數據庫操作可能會出現各種異常情況，比如連接失敗、SQL語法錯誤等。因此，在進行數據庫操作時，務必添加適當的異常處理機制，以提高程序的健壯性和穩定性。

以下是一個簡單的異常處理示例：

import sqlite3
import mysql.connector

try:
    # SQLite 連接
    conn_sqlite = sqlite3.connect('example.db')
    cursor_sqlite = conn_sqlite.cursor()

    # MySQL 連接
    conn_mysql = mysql.connector.connect(
        host="localhost",
        user="username",
        password="password",
        database="mydatabase"
    )
    cursor_mysql = conn_mysql.cursor()

    # 進行數據庫操作（省略）

except sqlite3.Error as e:
    print("SQLite error:", e)

except mysql.connector.Error as e:
    print("MySQL error:", e)

finally:
    # 關閉連接
    if conn_sqlite:
        conn_sqlite.close()
    if conn_mysql:
        conn_mysql.close()

7. 參數化查詢

在執行SQL語句時，尤其是涉及用戶輸入的情況下，應該使用參數化查詢來防止SQL注入攻擊。參數化查詢可以確保用戶輸入不會被誤解爲SQL代碼的一部分。

下面是一個使用參數化查詢的示例：

import sqlite3
import mysql.connector

# SQLite 連接
conn_sqlite = sqlite3.connect('example.db')
cursor_sqlite = conn_sqlite.cursor()

# MySQL 連接
conn_mysql = mysql.connector.connect(
    host="localhost",
    user="username",
    password="password",
    database="mydatabase"
)
cursor_mysql = conn_mysql.cursor()

# 參數化查詢
name = "Alice"
age = 30

# SQLite 參數化查詢
cursor_sqlite.execute("INSERT INTO users (name, age) VALUES (?, ?)", (name, age))

# MySQL 參數化查詢
sql = "INSERT INTO users (name, age) VALUES (%s, %s)"
val = (name, age)
cursor_mysql.execute(sql, val)

# 提交事務並關閉連接
conn_sqlite.commit()
conn_sqlite.close()

conn_mysql.commit()
conn_mysql.close()

8. ORM框架

ORM（Object-Relational Mapping）框架可以將數據庫表的行映射爲Python對象，簡化了數據庫操作。在Python中，有許多流行的ORM框架，比如SQLAlchemy、Django的ORM等。這些框架提供了高級的抽象和功能，使得與數據庫的交互更加方便和直觀。

以下是一個使用SQLAlchemy進行數據庫操作的示例：

from sqlalchemy import create_engine, Column, Integer, String
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

# 創建引擎
engine = create_engine('sqlite:///example.db', echo=True)

# 聲明基類
Base = declarative_base()

# 定義映射類
class User(Base):
    __tablename__ = 'users'

    id = Column(Integer, primary_key=True)
    name = Column(String)
    age = Column(Integer)

# 創建數據表
Base.metadata.create_all(engine)

# 創建會話
Session = sessionmaker(bind=engine)
session = Session()

# 插入數據
user1 = User(name='Alice', age=30)
user2 = User(name='Bob', age=25)
session.add(user1)
session.add(user2)
session.commit()

# 查詢數據
users = session.query(User).all()
for user in users:
    print(user.id, user.name, user.age)

# 關閉會話
session.close()

9. 使用SQLite內存數據庫

除了連接到文件中的SQLite數據庫，還可以使用SQLite內存數據庫。SQLite內存數據庫完全存儲在RAM中，對於臨時性的數據處理或測試非常方便。

以下是一個使用SQLite內存數據庫的示例：

import sqlite3

# 連接到內存數據庫
conn = sqlite3.connect(':memory:')

# 創建一個遊標對象
cursor = conn.cursor()

# 創建表
cursor.execute('''CREATE TABLE users
                  (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)''')

# 插入數據
cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Alice', 30))
cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Bob', 25))

# 查詢數據
cursor.execute("SELECT * FROM users")
rows = cursor.fetchall()
for row in rows:
    print(row)

# 提交併關閉連接
conn.commit()
conn.close()

10. 數據庫連接池

在高併發的應用中，頻繁地打開和關閉數據庫連接會消耗大量資源。爲了提高性能，可以使用數據庫連接池技術，將數據庫連接預先創建好並保存在池中，需要時從池中獲取連接，使用完畢後歸還到池中。

以下是使用sqlitepool庫實現SQLite數據庫連接池的示例：

from sqlitepool import ConnectionPool

# 創建數據庫連接池
pool = ConnectionPool('example.db', max_connections=5)

# 從連接池中獲取連接
conn = pool.getconn()

# 創建遊標對象
cursor = conn.cursor()

# 執行查詢
cursor.execute("SELECT * FROM users")
rows = cursor.fetchall()
for row in rows:
    print(row)

# 釋放連接回連接池
pool.putconn(conn)

11. 性能優化

在進行大規模數據操作時，需要考慮性能優化。一些常見的性能優化策略包括：

• 使用索引來加速查詢。
• 合理設計數據庫結構，避免過度規範化或反規範化。
• 批量操作數據，減少數據庫交互次數。
• 緩存查詢結果，減少重複查詢數據庫的次數。

12. 使用異步數據庫庫

隨着異步編程的流行，出現了許多支持異步操作的數據庫庫，如aiosqlite和aiomysql。這些庫可以與異步框架（如asyncio）結合使用，提高程序的併發性能。

以下是一個使用aiosqlite庫進行異步SQLite數據庫操作的示例：

import asyncio
import aiosqlite

async def main():
    # 連接到 SQLite 數據庫
    async with aiosqlite.connect('example.db') as db:
        # 創建一個遊標對象
        cursor = await db.cursor()

        # 創建表
        await cursor.execute('''CREATE TABLE IF NOT EXISTS users
                               (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)''')

        # 插入數據
        await cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Alice', 30))
        await cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Bob', 25))

        # 查詢數據
        await cursor.execute("SELECT * FROM users")
        rows = await cursor.fetchall()
        for row in rows:
            print(row)

# 運行異步主程序
asyncio.run(main())

13. 數據庫遷移

在實際項目中，隨着需求的變化，可能需要對數據庫結構進行修改，這時候就需要進行數據庫遷移（Migration）。數據庫遷移工具可以幫助我們管理數據庫結構變更的過程，並確保數據的一致性。

對於SQLite，可以使用sqlite3自帶的支持。對於MySQL等數據庫，常用的遷移工具包括Alembic、django.db.migrations等。

以下是一個簡單的數據庫遷移示例（以SQLite爲例）：

import sqlite3

# 連接到 SQLite 數據庫
conn = sqlite3.connect('example.db')
cursor = conn.cursor()

# 執行遷移操作（修改表結構）
cursor.execute("ALTER TABLE users ADD COLUMN email TEXT")

# 提交併關閉連接
conn.commit()
conn.close()

14. 備份與恢復

定期備份數據庫是保障數據安全的重要措施之一。備份可以通過數據庫管理工具或編程方式來實現，具體方法取決於數據庫類型和需求。

以下是一個簡單的備份數據庫的示例（以SQLite爲例）：

import shutil

# 備份數據庫文件
shutil.copyfile('example.db', 'example_backup.db')

在實際應用中，備份數據庫時需要考慮數據庫是否處於活動狀態、備份文件存儲位置、備份週期等因素。

15. 使用環境變量管理數據庫連接信息

在實際項目中，將數據庫連接信息硬編碼在代碼中可能不夠安全或不夠靈活。一種更好的做法是使用環境變量來管理敏感信息，比如數據庫的主機名、用戶名和密碼等。

以下是一個使用環境變量管理數據庫連接信息的示例：

import os
import sqlite3
import mysql.connector

# 從環境變量中獲取數據庫連接信息
DB_HOST = os.getenv('DB_HOST', 'localhost')
DB_USER = os.getenv('DB_USER', 'username')
DB_PASSWORD = os.getenv('DB_PASSWORD', 'password')
DB_NAME = os.getenv('DB_NAME', 'mydatabase')

# SQLite 連接
conn_sqlite = sqlite3.connect('example.db')
cursor_sqlite = conn_sqlite.cursor()

# MySQL 連接
conn_mysql = mysql.connector.connect(
    host=DB_HOST,
    user=DB_USER,
    password=DB_PASSWORD,
    database=DB_NAME
)
cursor_mysql = conn_mysql.cursor()

# 進行數據庫操作（省略）

# 關閉連接
conn_sqlite.close()
conn_mysql.close()

通過使用環境變量，我們可以輕鬆地在不同的環境中切換數據庫連接信息，而無需修改代碼。

16. 使用配置文件管理數據庫連接信息

除了使用環境變量，還可以使用配置文件來管理數據庫連接信息。這種方法更加靈活，可以根據需要配置不同的環境，如開發環境、測試環境和生產環境等。

以下是一個使用配置文件管理數據庫連接信息的示例：

import configparser
import sqlite3
import mysql.connector

# 從配置文件中讀取數據庫連接信息
config = configparser.ConfigParser()
config.read('config.ini')

DB_HOST = config.get('Database', 'host')
DB_USER = config.get('Database', 'user')
DB_PASSWORD = config.get('Database', 'password')
DB_NAME = config.get('Database', 'database')

# SQLite 連接
conn_sqlite = sqlite3.connect('example.db')
cursor_sqlite = conn_sqlite.cursor()

# MySQL 連接
conn_mysql = mysql.connector.connect(
    host=DB_HOST,
    user=DB_USER,
    password=DB_PASSWORD,
    database=DB_NAME
)
cursor_mysql = conn_mysql.cursor()

# 進行數據庫操作（省略）

# 關閉連接
conn_sqlite.close()
conn_mysql.close()

通過配置文件的方式，我們可以將數據庫連接信息集中管理，便於維護和修改。

17. 數據庫連接的安全性考慮

在連接數據庫時，需要考慮安全性問題，特別是涉及到密碼和敏感信息的處理。一些常見的安全性措施包括：

• 不要將敏感信息硬編碼在代碼中，而是使用環境變量或配置文件管理。
• 使用加密技術保護敏感信息在傳輸過程中的安全性。
• 使用強密碼，並定期更換密碼。
• 限制數據庫用戶的權限，避免賦予過高的權限。

通過採取這些安全性措施，可以有效保護數據庫連接信息和數據的安全。

總結

本文介紹了使用Python進行數據庫連接與操作的多種方法和技術。首先，我們學習瞭如何使用Python連接和操作SQLite和MySQL數據庫，包括創建表、插入數據、查詢數據等基本操作。然後，我們探討了一些高級技術，如參數化查詢、ORM框架、異步數據庫庫、數據庫遷移、備份與恢復等，這些技術可以提高數據庫操作的效率和安全性。此外，我們還介紹瞭如何使用環境變量和配置文件來管理數據庫連接信息，以及一些數據庫連接的安全性考慮。通過這些技術和方法，我們可以更好地管理和保護數據庫，使得數據庫編程更加安全、靈活和高效。

在實際項目中，我們需要根據項目需求和安全標準選擇合適的技術和工具，確保數據庫連接和操作的安全性和可靠性。同時，我們也要不斷學習和探索新的技術，以跟上數據庫領域的發展和變化。希望本文能夠幫助讀者更好地理解和應用Python數據庫編程的相關知識，爲實際項目開發提供幫助和指導。

點擊關注，第一時間瞭解華爲雲新鮮技術~