摘要:本文介紹宜信105條數據庫軍規,幫助研發團隊評估數據庫開發質量,達到儘早發現問題解決問題的目標。
作爲一家金融科技企業,宜信的大量業務都依賴於數據庫。如何提高公司整體數據庫應用水平,是對DBA的一大挑戰,也非常具有現實意義。筆者在宜信的多年工作中,與團隊一起總結整理了針對傳統關係型數據庫的使用規則,並藉助自研的數據庫審覈平臺落地,藉此幫助研發團隊評估數據庫開發質量,達到儘早發現問題、解決問題之目的。下圖正是這一系統的簡單原理圖。
如上圖所示,針對規則部分又可細分爲如下分類(部分)。簡單描述如下,後面將逐一詳細說明。
一、Oracle規則(對象)
1.1 表、分區
【規則1】
規則說明:超過指定規模且沒有分區的表。
規則閾值:2GB(物理大小超過指定閥值)。
規則描述:表的規模過大,將影響表的訪問效率、增加維護成本等。常見的解決方案就是使用分區表,將大表轉換爲分區表。
【規則2】
規則說明:單表或單分區記錄數量過大。
規則閾值:1000000(單表或單分區記錄數超過指定閥值)。
規則描述:控制單個表或單個分區的數據規模,提高單一對象的訪問效率。如記錄數過多,應考慮分庫、分表、分區等策略。
【規則3】
規則說明:大表過多。
規則閾值:自定義(超過2G的表的數量過多)。
規則描述:大表在所有表中所佔比例超過20%(OLTP)或95%(OLAP)。
【規則4】
規則說明:單表分區數量過多。
規則閾值:500(單表分區數量超過指定閥值)。
規則描述:分區表中分區數量過多,將導致整體維護成本過高,可調整分區粒度。
【規則5】
規則說明:分區表數量過多。
規則閾值:2000(分區表數量超過指定閥值)。
規則描述:分區表過多,常見原因是大表較多。因根據需求,考慮進行垂直拆分,減小單庫規模。
【規則6】
規則說明:複合分區數量過多。
規則閾值:5(複合分區數量超過指定閥值)。
規則描述:同上面分區表數量過多理由類似(含有複合分區表的數量)。
【規則7】
規則說明:存在啓用並行屬性的表。
規則閾值:1(表degree屬性不爲1)。
規則描述:一般情況下不建議對錶設置並行屬性。
1.2 索引
【規則8】
規則說明:外鍵沒有索引的表。
規則描述:外鍵沒有索引會導致主子表關聯查詢時,關聯效率很低。
【規則9】
規則說明:組合索引數量過多或沒有索引。
規則描述:組合索引過多,將導致空間消耗較大、索引維護成本較高。應考慮構建戰略性索引結構,不要針對每個需求都通過創建索引解決。
【規則10】
規則說明:單表索引數量過多。
規則閾值:3(單表索引數量超過指定閥值)。
規則描述:索引可以提高訪問速度,但數量過多將導致空間消耗過大,且索引維護成本較高,影響DML效率等問題。應控制索引數量。
【規則11】
規則說明:存在7天內沒有使用的索引。
規則描述:在數據庫一段時間內,該索引沒有被任何SQL語句使用。請評估此索引的有效性。
【規則12】
規則說明:字段重複索引。
規則描述:一個字段被多個索引引用,請考慮構建策略,刪除不必要的索引。
【規則13】
規則說明:存在全局分區索引。
規則描述:全局分區索引,存在維護成本較高問題。當分區發生變化時,需要維護全局索引的有效性。
【規則14】
規則說明:失效索引。
規則描述:索引狀態爲INVALID、UNUSABLE。
【規則15】
規則說明:索引高度超過指定高度。
規則閾值:4。
規則描述:索引高度過高導致增加IO成本。
【規則16】
規則說明:存在位圖索引。
規則描述:OLTP環境中不建議使用位圖索引,如果表對象經查做DML操作,會在一定程度上阻塞相關操作。
【規則17】
規則說明:存在函數索引。
【規則18】
規則說明:存在啓用並行屬性的索引。
規則閾值:1(索引degree屬性不爲1)。
規則描述:一般情況下不建議對索引設置並行屬性。
【規則19】
規則說明:存在聚簇因子過大的索引。
規則閾值:自定義。
規則描述:聚簇因子過大的索引,應該考慮優化。
1.3 約束
【規則20】
規則類別:約束。
規則說明:沒有主鍵的表。
規則描述:主鍵是關係型數據庫中唯一確定一條記錄的依據,沒有任何理由不定義主鍵。
【規則21】
規則類別:約束。
規則說明:使用外鍵的表。
規則描述:不建議使用外鍵約束,數據一致性通過應用端解決。
1.4 字段
【規則22】
規則說明:表字段過多。
規則閾值:100(字段數量超過指定閥值)。
規則描述:字段過多,會導致記錄長度過大。單個數據存儲單元將保存的記錄數過少,影響訪問效率。
【規則23】
規則說明:包含有大字段類型的表。
規則描述:大對象字段是關係型數據庫中應儘量避免的。如有需要,可考慮在外部進行存儲。
【規則24】
規則說明:記錄長度定義過長。
規則描述:記錄定義長度與實際存儲長度差異過大,請考慮字段類型定義是否合理,個別字段過長是否可分表存儲。
【規則25】
規則說明:不包含時間戳字段的表。
規則描述:時間戳,是獲取增量數據的一種方法。建議在表內增加創建時間、更新時間的時間戳字段。命名方式爲CREATE_TIME、UPDATE_TIME。
【規則26】
規則說明:表字段類型不匹配。
規則描述:此規則會抽樣部分數據,分析其定義類型與存儲類型是否相符。常見問題如用數字、文本保存日期等。
1.5 其他對象
【規則27】
規則說明:緩存過小的序列。
規則閾值:100(序列cache值小於指定閥值)。
規則描述:系統默認會緩存20,如過小將導致頻繁查詢數據字典,影響併發能力。
【規則28】
規則說明:存在存儲過程及函數度。
規則閾值:20(存儲過程和函數的數量超過指定閥值)。
規則描述:存儲過程及函數,將影響數據庫的異構遷移能力,並存在代碼維護性較差等原因。
【規則29】
規則說明:存在觸發器。
規則閾值:20(觸發器數量超過指定閥值)。
規則描述:觸發器,將影響數據庫的異構遷移能力。如有數據一致性維護需求,請從應用端給予考慮。
【規則30】
規則說明:存在DBLINK。
規則描述:不建議在一個數據庫中訪問其他數據庫,請考慮在應用端解決。
二、Oracle規則(執行計劃)
2.1 綁定變量
【規則31】
規則說明:未使用綁定變量。
規則閾值:自定義(執行次數)。
規則描述:執行次數超過一定閥值的語句,謂詞右側存在常量值。
【規則32】
規則說明:綁定變量的數量過多。
規則閾值:自定義(綁定變量的個數)。
規則描述:綁定變量數量過多會增加變量替換時間,在一定程度上增加sql執行時間。
2.2 表間關聯
【規則33】
規則說明:笛卡爾積。
規則描述:缺少連接條件,導致表間關聯使用了笛卡爾積的連接方式,執行計劃中包含"CARTESIAN|"字樣。
【規則34】
規則說明:嵌套循環層次過深。
規則閾值:自定義(層次數)。
規則描述:嵌套循環層次過深,超過指定閥值。執行計劃中嵌套多層"NESTED LOOP"或"FILTER"字樣。
【規則35】
規則說明:嵌套循環內層表訪問方式爲全表掃描。
規則描述:嵌套循環的內層表訪問方式爲全表掃描,效率很低。
【規則36】
規則說明:排序合併連接中存在大結果集排序。
規則描述:排序合併中兩個結果集都要排序,應調整爲其他連接方式。
【規則37】
規則說明:多表關聯。
規則閾值:自定義(表個數)。
規則描述:過多的表關聯,影響性能。
2.3 訪問路徑
【規則38】
規則說明:大表全表掃描。
規則閾值:自定義(表大小,單位GB)。
規則描述:對大表執行了全表掃描操作,執行計劃中包含"TABLE ACCESS FULL"字樣。
【規則39】
規則說明:大索引全掃描。
規則閾值:自定義(索引大小,單位GB)。
規則描述:對大索引執行了索引全掃描操作,執行計劃中包含"INDEX FULL SCAN"字樣。
【規則40】
規則說明:大索引快速全掃描。
規則閾值:自定義(索引大小,單位GB)。
規則描述:對大索引執行了索引快速全掃描操作,執行計劃中包含"INDEX FAST FULL SCAN"字樣。
【規則41】
規則說明:索引跳躍掃描。
規則描述:對索引執行跳躍掃描操作,執行計劃中包含"INDEX SKIP SCAN"字樣。
【規則42】
規則說明:分區全掃描。
規則描述:對分區表進行了全分區掃描,執行計劃中含有“PARTITION RANGE ALL”字樣。
【規則43】
規則說明:非連續分區掃描。
規則描述:非連續分區掃描,執行計劃中含有“PARTITION RANGE INLIST”或“PARTITION RANGE OR”字樣。
【規則44】
規則說明:跨分區掃描。
規則描述:連續的分區掃描,執行計劃中含有“PARTITION RANGE ITERATOR”字樣。
2.4 類型轉換
【規則45】
規則說明:存在隱式轉換。
規則描述:在條件判斷中使用了隱式數據類型轉換。
2.5 其他執行計劃
【規則46】
規則說明:存在大結果集排序操作。
規則描述:可考慮通過引入索引等操作避免排序。
【規則47】
規則說明:存在並行訪問特徵。
規則描述:並行很影響性能,一般情況下需要避免。
【規則48】
規則說明:存在視圖訪問。
規則描述:視圖操作一般可以合併、解嵌套等,如都不行應該排查視圖定義。
三、Oracle規則(執行特徵)
3.1 執行特徵
【規則49】
規則說明:掃描塊數與返回記錄數比例過低。
規則閾值:自定義(百分比)。
規則描述:掃描大量數據但返回記錄數很少,需要從邏輯上調整SQL語句。
【規則50】
規則說明:子游標過多。
規則閾值:自定義(子游標數)。
規則描述:子游標過多,可能存在執行計劃不穩定的情況。
【規則51】
規則說明:elapsed_time。
規則閾值:自定義。
【規則52】
規則說明:cpu_time
規則閾值:自定義
【規則53】
規則說明:buffer_gets
規則閾值:自定義
【規則54】
規則說明:disk_reads
規則閾值:自定義
【規則55】
規則說明:direct_writes
規則閾值:自定義
【規則56】
規則說明:executions
規則閾值:自定義
四、MySQL規則(對象)
4.1 表、分區
【規則57】
規則說明:超過指定規模且沒有分區的表。
規則閾值:自定義(表大小,GB)。
規則描述:表的規模過大,將影響表的訪問效率、增加維護成本等。常見的解決方案就是使用分區表,將大表轉換爲分區表。
【規則58】
規則說明:單庫數據表過多。
規則閾值:自定義(表個數)。
規則描述:單庫數據表過多,將影響整體性能。必要時,進行業務邏輯的垂直拆分。
【規則59】
規則說明:單表(分區)數據量過大。
規則閾值:自定義(數據規模,記錄數)。
規則描述:單表(分區)數據表過多,將影響整體性能。必要時,進行分庫、分表或定期清理、歸檔數據。
4.2 索引
【規則60】
規則說明:單表索引數量過多。
規則閾值:自定義(索引數量)。
規則描述:單表索引數量過多,不僅維護成本高,而且佔用更多的空間。
【規則61】
規則說明:存在重複索引。
規則描述:索引能由另一個包含該前綴的索引完全代替,是多餘索引。多餘的索引會浪費存儲空間,並影響數據更新性能。
【規則62】
規則說明:索引選擇率不高。
規則閾值:自定義(選擇率,百分比)。
規則描述:索引選擇率不高,將導致索引低效,請調整索引字段。
4.3 約束
【規則63】
規則說明:表存在外鍵。
規則描述:外鍵資源將消耗數據庫的計算能力,建議通過應用層保證數據約束。
【規則64】
規則說明:表沒有定義主鍵。
規則描述:沒有定義主鍵,MySQL會自動創建主鍵。這不是一種好的設計方法。
4.4 字段
【規則65】
規則說明:存在大對象字段。
規則描述:大對象字段將影響存取性能、耗費較多空間,建議在數據庫之外存儲。
【規則66】
規則說明:單表字段數過多。
規則閾值:自定義(字段數)。
規則描述:表字段數過多,將造成記錄過長,單頁存儲記錄數減少。可考慮拆表處理。
【規則67】
規則說明:單表字段定義長度過長。
規則閾值:自定義(字段長度,單位字節)。
規則描述:應控制單表定義長度,避免過長記錄。
【規則68】
規則說明:單表主鍵字段定義長度過長。
規則閾值:自定義(字段長度,單位字節)。
規則描述:應控制主鍵字段長度,過長的主鍵字段會造成索引空間消耗過大。
【規則69】
規則說明:表沒有定義時間戳字段。
規則描述:時間戳字段是獲取增量數據的最佳方法,請爲表定義時間戳字段。
【規則70】
規則說明:字段數據類型定義錯誤。
規則閾值:自定義(記錄數)。
規則描述:根據字段保存內容判斷,字段類型定義異常,建議選擇適合的數據類型。
4.5 其他對象
【規則71】
規則說明:單表存在函數、存儲過程、觸發器。
規則描述:存儲過程、函數、觸發器等都將消耗數據庫的計算能力,建議通過應用層保證數據約束。
五、MySQL規則(執行計劃)
5.1 訪問路徑
【規則72】
規則說明:大表全表掃描。
規則閾值:自定義(表大小,單位GB)。
規則描述:對大表執行了全表掃描操作。
5.2 SELECT_TYPE
【規則73】
規則說明:DEPENDENT UNION
【規則74】
規則說明:SUBQUERY
【規則75】
規則說明:DEPENDENT SUBQUERY
【規則76】
規則說明:MATERIALIZED
【規則77】
規則說明:UNCACHEABLE SUBQUERY
【規則78】
規則說明:UNCACHEABLE UNION
5.3 ACCESS_TYPE
【規則79】
規則說明:fulltext
【規則80】
規則說明:index_merge
【規則81】
規則說明:unique_subquery
【規則82】
規則說明:all
【規則83】
規則說明:index range
5.4 其他執行計劃
【規則84】
規則說明:使用臨時表。
規則描述:執行過程中使用了臨時表,執行計劃中包括"using temporary"。
【規則85】
規則說明:使用磁盤排序。
規則描述:執行計劃中使用了磁盤排序,執行計劃中包含"using filesort"字樣。
六、MySQL規則(執行特徵)
6.1 執行特徵
【規則86】
規則說明:index_ratio
【規則87】
規則說明:lock_time_sum
七、Oracle+MySQL(語句級)
7.1 查詢類
【規則88】
規則說明:select *
規則描述:禁止使用select *,必須明確選擇所需的列。
【規則89】
規則說明:重複查詢子句。
規則描述:禁止使用重複的查詢子句,應使用with as替換子句(僅限Oracle)來提升SQL執行效率。
【規則90】
規則說明:查詢字段引用函數。
規則描述:禁止在查詢字段中引用函數(類型轉換函數、函數索引情況可忽略)。
【規則91】
規則說明:嵌套select子句。
規則描述:禁止出現select子句的嵌套子查詢,避免出現性能問題。
【規則92】
規則說明:出現union。
規則描述:防止出現不必要的排序動作。
【規則93】
規則說明:多個過濾條件通過or連接。
規則描述:防止優化器出現選擇異常。
【規則94】
規則說明:謂詞條件使用like '%xxx'
規則描述:無法使用索引。
【規則95】
規則說明:謂詞中存在負向操作符。
規則描述:!=,<>,!<,!>,not exists,not。
【規則96】
規則說明:存在子查詢情況。
規則描述:這個要區分位置(select、from、where、having等部分)。
【規則97】
規則說明:存在三個以上的表關聯。
【規則98】
規則說明:存在全連接或外連接。
規則描述:cross join或outer join情況。
7.2 變更類
【規則99】
規則說明:update中出現order by子句。
規則描述:防止更新過程中出現不必要的排序。
【規則100】
規則說明:update中必須出現where子句。
規則描述:防止出現意外的全部更新動作。
【規則101】
規則說明:更新主鍵。
規則描述:禁止出現更新主鍵的情況。
【規則102】
規則說明:delete中出現order by子句。
規則描述:防止刪除過程出現不必要的排序。
【規則103】
規則說明:delete中必須出現where子句。
規則描述:防止出現意外的全部刪除動作。
【規則104】
規則說明:新增SQL文本過長規則。
【規則105】
規則說明:新增IN List元素過多。
作者:韓鋒首發於作者個人公號《韓鋒頻道》。
來源:宜信技術學院