python中MySQL數據庫相關操作

原創 長跑者1號 2019-09-20 14:01

一 安裝基本環境

1 簡介

MySQL 基於TCP 協議之上的開發，但是網絡連接後，傳輸的數據必須遵循MySQL的協議，封裝好MySQL協議的包，就是驅動程序

MySQL 的驅動
MySQLDB 最有名的庫，對MySQL 的C Client 封裝實現，支持python2，不更新了，不支持python3
MySQL 官方的connector
pymysql 語法兼容MySQLdb，使用python寫的庫，支持python3

2 安裝MySQL數據庫

本文使用的是mariadb數據庫，與MySQL相似

1 掛載鏡像文件（本次使用的是本地鏡像文件）

python中MySQL數據庫相關操作

2 啓動MySQL數據庫

python中MySQL數據庫相關操作

3 創建用戶名和密碼並刷新

grant all(表示所有操作) on .(庫.表(所有的，也可以指定)) to root@localhost(設置用戶名爲root，鏈接爲本地鏈接) identified by 'roiot123';(設置密碼)

flush privileges;(刷新權限)

4 修改默認字符集：

python中MySQL數據庫相關操作

server.cnf 中的操作（前面必須有空格，否則不生效，不能寫入漢字）

python中MySQL數據庫相關操作

client.cnf 操作同上

python中MySQL數據庫相關操作

重啓加載字符集

python中MySQL數據庫相關操作

5 查看字符集是否加載完畢

python中MySQL數據庫相關操作

如上，則表示加載完畢！！！

6 創建數據庫

python中MySQL數據庫相關操作

二 MySQL-python

1 安裝

1 安裝

python中MySQL數據庫相關操作

2 查看安裝是否完成，若完成，則不會報錯

python中MySQL數據庫相關操作

2 連接一般流程

建立連接
獲取遊標
執行SQL
提交事務
釋放資源

2 MySQL鏈接基本操作及說明

1 導入MySQLdb 模塊

導入名重命名重命名

python中MySQL數據庫相關操作

2 創建連接

參數含義如下

connection 初始化常用參數 說明
host 主機
user 用戶名
password 密碼
database 數據庫
port 端口

其中必選參數是user和passwd 其他可選
其中user 表示數據庫的用戶名，就是上面初始化的用戶名和密碼，db 是上面初始化的數據庫，host 表示本地鏈接，可以使用IP地址或域名進行遠程鏈接，charset 表示鏈接使用的字符集，如果和上面的utf8不對應，則可能出現亂碼現象

python中MySQL數據庫相關操作

3 初始化遊標

python中MySQL數據庫相關操作

4 使用遊標.execute('sql')語句負責向MySQL數據庫傳遞消息。

對於數據庫的操作有 增insert 刪 delete 改 update 等 查 select show 等

python中MySQL數據庫相關操作

5 提交

創建完成後需要提交，如果不提交則不生效，提交使用的是創建的鏈接的關鍵字。

python中MySQL數據庫相關操作

6 關閉鏈接

需要關閉鏈接，首先需要關閉的是遊標，其次是鏈接。

python中MySQL數據庫相關操作

7 查看

在MySQL數據庫中進行查看：

python中MySQL數據庫相關操作

3 數據庫進階

1 顯示設置

顯示與數據庫查詢相似的結果show 和 select
數據庫中的顯示

python中MySQL數據庫相關操作

再次創建一個數據表以備查詢所用

python中MySQL數據庫相關操作

1 進行查看顯示

python中MySQL數據庫相關操作

使用遊標.fetchone()表示每次查看一行操作，兩個表示兩個操作一起輸出

2 顯示所有查看的結果

python中MySQL數據庫相關操作

3 顯示指定的數量

python中MySQL數據庫相關操作

4 進行查看使用cur.scroll(0,'absolute')

將其恢復遊標到起始位置，可以進行多次查看，如果沒有此配置，默認重上一次查詢的下一行開始查詢

python中MySQL數據庫相關操作

2 多行插入

1 使用for 循環遍歷的方式插入：

python中MySQL數據庫相關操作

查看

python中MySQL數據庫相關操作

2 將sql 語句與cur.execute 分離的方式插入

python中MySQL數據庫相關操作

查看

python中MySQL數據庫相關操作

3 進行多行插入

python中MySQL數據庫相關操作

查看

python中MySQL數據庫相關操作

當%s 沒有雙引號時：

python中MySQL數據庫相關操作

查看

python中MySQL數據庫相關操作

4 ：數據庫應用：

1 生成姓名

python中MySQL數據庫相關操作

python中MySQL數據庫相關操作

查看生成結果：

python中MySQL數據庫相關操作

2 判斷數據庫的某個表是否存在

python中MySQL數據庫相關操作

3 應用封裝mysql數據庫的類

python中MySQL數據庫相關操作
python中MySQL數據庫相關操作python中MySQL數據庫相關操作python中MySQL數據庫相關操作

查看是否生成：

python中MySQL數據庫相關操作
python中MySQL數據庫相關操作

三 pymysql

1 安裝pymysql

1 安裝

pymysql 是第三方模塊庫，需要安裝 

pip  install  pymysql

2 參數簡介和基本鏈接

1 基本參數詳解

pymysql.connect() 方法返回的是connections模塊下的connection類實例，connect方法傳遞就是給connection類的__init__提供參數

源碼如下 

    def __init__(self, host=None, user=None, password="",
                 database=None, port=0, unix_socket=None,
                 charset='', sql_mode=None,
                 read_default_file=None, conv=None, use_unicode=None,
                 client_flag=0, cursorclass=Cursor, init_command=None,
                 connect_timeout=10, ssl=None, read_default_group=None,
                 compress=None, named_pipe=None,
                 autocommit=False, db=None, passwd=None, local_infile=False,
                 max_allowed_packet=16*1024*1024, defer_connect=False,
                 auth_plugin_map=None, read_timeout=None, write_timeout=None,
                 bind_address=None, binary_prefix=False, program_name=None,
                 server_public_key=None):

上述初始化參數中autocommit=False，則指的是默認的事務提交是關閉的，及需要手動提交事務

Connection.ping() 方法，測試數據庫服務器是否活着，有一個參數熱connection表示斷開與服務器連接是否重連 

    def ping(self, reconnect=True):
        """
        Check if the server is alive.

        :param reconnect: If the connection is closed, reconnect.
        :raise Error: If the connection is closed and reconnect=False.
        """
        if self._sock is None:
            if reconnect:
                self.connect()
                reconnect = False
            else:
                raise err.Error("Already closed")
        try:
            self._execute_command(COMMAND.COM_PING, "")
            self._read_ok_packet()
        except Exception:
            if reconnect:
                self.connect()
                self.ping(False)
            else:
                raise

2 conn.ping 相關測試

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection

conn=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
finally:
    if conn:
        print('關閉鏈接:',conn.ping(False))
        conn.close()

結果如下

python中MySQL數據庫相關操作

3 遊標 Cursor

操作數據庫，必須使用遊標，需要先獲取一個遊標對象

Connection.cursor(cursor=None) 方法返回一個新的遊標對象

連接沒有關閉之前，遊標對象可以反覆使用

cursor參數，可以指定一個Cursor類，如果爲None,則使用默認Cursor類

數據庫操作需要使用Cursor 類的實例，提供的execute()方法，執行SQL語句，成功返回影響行數。

基本代碼如下 

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
conn=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    cursor=conn.cursor()
    sql="insert into  t(id,username,password)  values(3,'mysql','mysql')"
    line=cursor.execute(sql)
    # 此處未提交事務。若關閉，則直接導致事務回滾
    print (line)
    cursor.close()
finally:
    if conn:
        print('關閉鏈接:',conn.ping(False))
        conn.close()

結果如下

python中MySQL數據庫相關操作

數據庫結果如下

python中MySQL數據庫相關操作

4 添加事務管理

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
conn=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    cursor=conn.cursor()
    sql="insert into  t(id,username,password)  values(3,'mysql','mysql')"
    line=cursor.execute(sql)
    # 此處未提交事務。若關閉，則直接導致事務回滾
    print (line)
    cursor.close()
    # 若沒有異常，則提交事務
    conn.commit()
except:  # 若存在異常，則回滾事務
    conn.rollback()
finally:
    if conn:
        print('關閉鏈接:',conn.ping(False))
        conn.close()

結果如下

python中MySQL數據庫相關操作

數據庫結果如下

python中MySQL數據庫相關操作

5 批量增加數據

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    cursor=conn.cursor()
    for  i in  range(5):
        sql="insert into  t(id,username,password)  values(3,'mysql','mysql')"
        line=cursor.execute(sql)
        print (line)
    # 此處未提交事務。若關閉，則直接導致事務回滾
    # 若沒有異常，則提交事務
    conn.commit()
except:  # 若存在異常，則回滾事務
    conn.rollback()
finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

數據庫結果如下

python中MySQL數據庫相關操作

變量的方式插入多行數據 

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    cursor=conn.cursor()
    for  i in  range(10,15):
        sql="insert into  t(id,username,password)  values({},'mysql','mysql')".format(i)
        line=cursor.execute(sql)
    # 此處未提交事務。若關閉，則直接導致事務回滾
    # 若沒有異常，則提交事務
    conn.commit()
except:  # 若存在異常，則回滾事務
    conn.rollback()
finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

6 查詢返回結果

1 概念

cursor類的獲取查詢結果集的方法有fetchone(),fetchmany(size=None),fetchall() 三種

fetchone()方法，獲取結果集的下一行
fetchmany(size=None) 方法，size指定返回的行數的行，None則返回用組
fetchall() 方法，獲取所有行

返回多行，如果走到末尾，就返回空元組，否則返回一個元組，其元素就是每一行的記錄，每一行的記錄都裝載在一個元組中。

注意：fetch操作的是結果集，結果集是保存在客戶端的，也就是說fetch的時候，查詢已經結束了。

2 普通元祖返回

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    cursor=conn.cursor()
    sql="select  * from  t"
    line=cursor.execute(sql)
    print ('獲取一個',cursor.fetchone())  # 獲取一個
    print ('獲取下面兩個',cursor.fetchmany(2)) # 獲取下面兩個
    print ('獲取所有',cursor.fetchall()) # 獲取所有
    cursor.rownumber=0 # 遊標初始化，支持負索引，當大於len的索引，則會不存在
    # 此處未提交事務。若關閉，則直接導致事務回滾
    # 若沒有異常，則提交事務
    print ('獲取所有',cursor.fetchall()) # 獲取所有
    print ('獲取一個',cursor.fetchone())  #此處無法獲取到了
    conn.commit()

finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

3 字典返回(字典遊標)

Cursor類有一個Mixin的子類DictCursor
只需要cursor=conn.cursor(DictCursor)就行了
返回多行，放在列表中，元素是字典，代表行，返回是列表

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    cursor=conn.cursor(DictCursor)
    sql="select  * from  t"
    line=cursor.execute(sql)
    print (cursor.fetchall())  # 獲取一個

finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

7 SQL 注入

1 概念

猜測後臺數據的查詢語句使用拼接字符串的方式，從而經過設計爲服務端傳遞參數，令其拼接處特殊的字符串，返回用戶想要的結果

2 常用的SQL注入方式

1 數字拼接

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    cursor=conn.cursor()
    sql="select  * from  t where  id={}".format('5  or 1=1')
    print (sql)
    line=cursor.execute(sql)
    print (cursor.fetchall())  # 獲取一個

finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

2 字符串拼接

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    print (conn.ping(False))
    # 獲取遊標
    name="'test'"
    passwd="'test' or 1=1"
    cursor=conn.cursor()
    sql="select  * from  t where  username={}  and   password ={}".format(name,passwd)
    print (sql)
    line=cursor.execute(sql)
    print (cursor.fetchall())  # 獲取一個

finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

3 解決SQL 注入方式

1 概念

參數化查詢，可以有效防止SQL注入，並提高查詢效率

cursor.execute(query,args=None)
args, 必須是元祖，列表或者字典，如果查詢字符串使用%(name)s，就必須使用字典

2 查詢效率高原因

參數化查詢爲什麼能提高效率

原因就是SQL語句緩存

數據庫服務器一般都會對SQL語句編譯和緩存，編譯只是對SQL部分，所以參數化就算有SQL指令也不會被執行

編譯過程，需要詞法分析，語法分析，生成AST，優化，生成執行計劃等過程，比較耗資源，服務端會先查詢是否對同一條語句進行緩存，如果緩存未失效，則不需要再次編譯，從而降低了編譯的成本，減低了內存消耗。

可以認爲SQL語句字符串就是一個key，如果使用拼接方案，每次發過去的SQL語句都不一樣，都需要重新編譯並緩存。
大量查詢的時候，首選使用參數化查詢，以節省資源。
開發時，應該使用參數化查詢

注意:這裏說的是查詢字符串的緩存，不是查詢結果的緩存
>
慢查詢一般用不上緩存。

3 具體代碼

字典參數化查詢 

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    d={'name':"'test'",'passwd':"'test' or 1=1"}
    cursor=conn.cursor()
    sql="select  * from  t where  username=%(name)s  and  password=%(passwd)s"
    line=cursor.execute(sql,d)
    print (cursor.fetchall())  # 獲取一個
finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    d={'id': '1 or 1=1'}
    cursor=conn.cursor()
    sql="select  * from  t where  id=%(id)s"
    line=cursor.execute(sql,d)
    print (cursor.fetchall())  # 獲取一個
finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

python中MySQL數據庫相關操作

元祖處理 

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    cursor=conn.cursor()
    L1=[ (i,'admin','admin')  for  i in  range(20,23)]
    for  x  in L1:
        sql="insert  into  t(id,username,password)  values(%s,%s,%s)"
        line=cursor.execute(sql,x)
        print (line)
    conn.commit()
finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

列表如下 

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    cursor=conn.cursor()
    L1=[ [i,'admin','admin']  for  i in  range(24,26)]
    for  x  in L1:
        sql="insert  into  t(id,username,password)  values(%s,%s,%s)"
        line=cursor.execute(sql,x)
    conn.commit()
finally:
    if cursor:
        cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

8 上下文支持

1 查看連接和遊標部分源碼

1 連接上下文相關源碼如下：

    def __enter__(self):
        """Context manager that returns a Cursor"""
        warnings.warn(
            "Context manager API of Connection object is deprecated; Use conn.begin()",
            DeprecationWarning)
        return self.cursor()

    def __exit__(self, exc, value, traceback):
        """On successful exit, commit. On exception, rollback"""
        if exc:
            self.rollback()
        else:
            self.commit()

有上述代碼可得，鏈接在使用上下文時會自動返回cursor遊標，並在鏈接關閉時會自動判斷執行語句是否出錯，若出錯，則直接回滾，否則提交，但未定義相關的關閉鏈接的操作

2 遊標相關源碼

    def __enter__(self):
        return self

    def __exit__(self, *exc_info):
        del exc_info
        self.close()

有上述可知，遊標的上下文返回的是自己，關閉鏈接時遊標會自動關閉鏈接

2 連接相關上下文代碼如下

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    with conn as cursor:  #此處返回一個cursor鏈接
        sql="select * from  t"  
        cursor.execute(sql)  
        print (cursor.fetchmany(5))

finally:
      if  cursor:  #上述的代碼中未使用cursor的上下文，因此此處還是需要的
              cursor.close()
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

3 遊標相關代碼如下

#!/usr/bin/poython3.6
#conding:utf-8

from   pymysql.connections import  Connection
from  pymysql.cursors import  DictCursor
conn=None
cursor=None
try:
    conn=Connection('192.168.1.200','test','Admin@Root123','test')
    with conn as cursor:  #此處返回一個cursor鏈接
        with  cursor:  #此處使用cursor的上下文，默認會關閉其遊標
            sql="select * from  t"
            cursor.execute(sql)
            print (cursor.fetchmany(5))
finally:
    if conn:
        conn.close()

結果如下

python中MySQL數據庫相關操作

連接不應該隨隨便便銷燬，應該形成重複使用的習慣，應該是多個cursor共享一個連接 。

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

數據庫基礎入門（三）——通過JDBC對數據庫進行增刪改查操作

六六Coding的地方 2020-02-20 22:03:17

pip 命令參數以及如何配置國內鏡像源

文章更新於：2020-04-05 注：如果 pip 命令不可以用，參見：python pip命令不能用 文章目錄一、參數詳解1、命令列表2、通用參數列表二、實際應用1、常用命令2、`pip install` 安裝包3、`pip u

我不是高材生 2020-07-08 04:09:08

python 程序雙擊執行的小技巧

文章更新於：2020-04-26 按照慣例，需要的文件附上鍊接放在文首。 文件名：ICOFX圖標製作軟件.7z 文件大小：40.2 MB 下載鏈接：https://www.lanzous.com/iayxw2b SHA256: 7

我不是高材生 2020-07-08 04:09:08

幾行代碼能搞定的事不必去點鼠標

文章更新於：2020-04-01 注1： bs4 庫就是 BeautifulSoup庫，版本4.x 注2：本文根據 bs4 官網文檔：Beautiful Soup Documentation 進行講解 文章目錄一、bs4 庫簡介1

我不是高材生 2020-07-08 04:09:08

Faker——NLP造數據神器

                                                         Faker——NLP造數據神器   寫在前面：開源詞典——funNLP （1）碼雲地址：https://gitee.com/

GeekZW 2020-07-07 21:48:25

python：else與循環語句聯合用法

我們都知道if else語句，今天看到了一種else的新用法，在此做記錄和大家分享。 Python中，如果一個循環沒有被break語句提前中止，那麼它的可選分支else就會被執行。 else和循環語句的聯合使用，如while和for循環中

Rookiekk 2020-07-07 08:36:56

數據結構：二分查找python實現

二分查找是分而治之策略很好的例子，這裏給出了兩種實現，其中一種是使用遞歸方式實現。 #二分法 #遞歸查找 def Binary_search(alist, item, first, last): found = False

Rookiekk 2020-07-07 08:36:56

【python】給出一個 32 位的有符號整數，你需要將這個整數中每位上的數字進行反轉。

示例 1: 輸入: 123 輸出: 321  示例 2: 輸入: -123 輸出: -321 示例 3: 輸入: 120 輸出: 21 注意: 假設我們的環境只能存儲得下 32 位的有符號整數，則其數值範圍爲 [−231,  231 −

YD@dreaming 2020-07-06 13:14:25

【python】字符串轉換整數 (atoi)

首先，該函數會根據需要丟棄無用的開頭空格字符，直到尋找到第一個非空格的字符爲止。 當我們尋找到的第一個非空字符爲正或者負號時，則將該符號與之後面儘可能多的連續數字組合起來，作爲該整數的正負號；假如第一個非空字符是數字，則直接將其與之後連續

YD@dreaming 2020-07-06 13:14:25

kaggle波士頓房價預測，score=0.12986

作爲一個機器學習小白，之前拿titanic數據集練過手，遇到波士頓房價數據集（81個特徵）剛開始是有點懵，主要就懵在不知道如何下手處理數據，參考一些資料後，勉強跑通了流程，在此記錄一下。大神請自動繞過。 1、加載數據集 數據集可以到kag

* star * 2020-07-05 22:50:38

python開發_platform_獲取操作系統詳細信息工具

python開發_platform_獲取操作系統詳細信息工具 ''' python中，platform模塊給我們提供了很多方法去獲取操作系統的信息 如： import platform

杜引强 2020-07-05 13:54:32

numpy中pad函數的常用方法

記錄以下，方便以後忘記了再回看一下  文章鏈接

菜椒123 2020-07-05 06:12:43

python之面向對象（字段）

類成員：  字段（保存在對象中）  方法（保存在類中）  class Foo: def __init__(self, name): # 字段 self.name = name # 方法

菜椒123 2020-07-05 06:12:43

python之反射

class Foo: def __init__(self, name, age): self.name = name self.age = age def show(self):

菜椒123 2020-07-05 06:12:43

python之面向對象（類的定義及封裝）

def foo(name, age, gender, content):       print(name, age, gender, content) 第一次定義類： class Bar:        def foo(self, na

菜椒123 2020-07-05 06:12:43