MySQL數據庫設計及性能優化手順

性能指標:
TPS - Transactions Per Second(每秒傳輸的事物處理個數),這是指服務器每秒處理的事務數,支持事務的存儲引擎如InnoDB等特有的一個性能指標。
TPS = (COM_COMMIT + COM_ROLLBACK)/UPTIME
TPS是TransactionsPerSecond的縮寫,也就是事務數/秒。它是軟件測試結果的測量單位。一個事務是指一個客戶機向服務器發送請求然後服務器做出反應的過程。客戶機在發送請求時開始計時,收到服務器響應後結束計時,以此來計算使用的時間和完成的事務個數,最終利用這些信息來估計得分。客戶機使用加權協函數平均方法來計算客戶機的得分,測試軟件就是利用客戶機的這些信息使用加權協函數平均方法來計算服務器端的整體TPS得分。
QPS - Queries Per Second(每秒查詢處理量)同時適用與InnoDB和MyISAM 引擎
QPS=QUESTIONS/UPTIME
Queries Per Second意思是“每秒查詢率”,是一臺服務器每秒能夠相應的查詢次數,是對一個特定的查詢服務器在規定時間內所處理流量多少的衡量標準。
優化的方向
硬件:CPU、內存、磁盤
操作系統參數
MySQL參數my.cnf配置文件
SQL語句:工具 iDB (阿里巴巴開源),inception(美團開源)
基準測試工具sysbench

  • sysbench安裝
    Quick install instructions:
    Debian/Ubuntu
    curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.deb.sh | sudo bash
    sudo apt -y install sysbench
    RHEL/CentOS:
    curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
    sudo yum -y install sysbench
    Fedora:
    curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
    sudo dnf -y install sysbench
    #查看版本sysbench --version

  • sysbench對數據庫進行壓力測試的過程:
      1  prepare 階段 這個階段是用來做準備的、比較說建立好測試用的表、並向表中填充數據。
      2  run 階段 這個階段是纔是去跑壓力測試的SQL
      3  cleanup 階段 這個階段是去清除數據的、也就是prepare階段初始化好的表要都drop掉

  • 測試的命令演示
    sysbench 自帶了一些測試腳本,在安裝目錄下 /usr/share/sysbench
    sysbench oltp_insert help See 'sysbench <testname> help' for a list of options for each test.
    第一步 prepare:sysbench oltp_insert --mysql-host=192.168.1.6 --mysql-port=3306 --mysql-user=root --mysql-password='1qaz!QAZ' --mysql-db=sbtest --threads=10 --time=120 --report-interval=10 --db-driver=mysql prepare
    第二步:sysbench oltp_insert --mysql-host=192.168.1.6 --mysql-port=3306 --mysql-user=root --mysql-password='1qaz!QAZ' --mysql-db=sbtest --threads=10 --time=120 --report-interval=10 --db-driver=mysql run
    第三步:sysbench oltp_insert --mysql-host=192.168.1.6 --mysql-port=3306 --mysql-user=root --mysql-password='1qaz!QAZ' --mysql-db=sbtest --threads=10 --time=120 --report-interval=10 --db-driver=mysql cleanup
    常用測試命令:
    sysbench oltp_insert --mysql-host=192.168.1.6 --mysql-port=3306 --mysql-user=root --mysql-password='1qaz!QAZ' --mysql-db=sbtest --db-driver=mysql --threads=20 --time=120 --events=0 prepare
    sysbench oltp_insert --mysql-host=192.168.1.6 --mysql-port=3306 --mysql-user=root --mysql-password='1qaz!QAZ' --mysql-db=sbtest --db-driver=mysql --threads=10 --time=120 --report-interval=10 prepare
    MySQL數據庫容量設計:
    對於一個存儲設計,必須考慮業務特點,收集的信息如下:
    1.數據的容量:1-3年內會大概多少條數據,每條數據大概多少字節;
    2.數據項:是否有大字段,那些字段的值是否經常被更新;
    3.數據查詢SQL條件:哪些數據項的列名稱經常出現在WHERE、GROUP BY、ORDER BY子句中等;
    4.數據更新類SQL條件:有多少列經常出現UPDATE或DELETE 的WHERE子句中;
    5.SQL量的統計比,如:SELECT:UPDATE+DELETE:INSERT=多少?
    6.預計大表及相關聯的SQL,每天總的執行量在何數量級?
    7.表中的數據:更新爲主的業務 還是 查詢爲主的業務
    8.打算採用什麼數據庫物理服務器,以及數據庫服務器架構?
    9.併發如何?
    10.存儲引擎選擇InnoDB還是MyISAM?
    大致明白以上10個問題,至於如何設計此類的大表,應該什麼都清楚了!
    至於優化若是指創建好的表,不能變動表結構的話,那建議InnoDB引擎,多利用點內存,減輕磁盤IO負載,因爲IO往往是數據庫服務器的瓶頸
    另外對優化索引結構去解決性能問題的話,建議優先考慮修改類SQL語句,使他們更快些,不得已只靠索引組織結構的方式,當然此話前提是,
    索引已經創建的非常好,若是讀爲主,可以考慮打開query_cache,
    以及調整一些參數值:sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_size。
    MySQL數據庫設計軍規
    軍規適用場景:併發量大、數據量大的互聯網業務
    一、基礎規範
    (1)必須使用InnoDB存儲引擎
    解讀:支持事務、行級鎖、併發性能更好、CPU及內存緩存頁優化使得資源利用率更高
    (2)必須使用UTF8字符集
    解讀:萬國碼,無需轉碼,無亂碼風險,節省空間
    (3)數據表、數據字段必須加入中文註釋
    解讀:N年後誰tm知道這個r1,r2,r3字段是幹嘛的
    (4)禁止使用存儲過程、視圖、觸發器、Event(不在數據庫做運算,cpu計算務必移至業務層)
    解讀:高併發大數據的互聯網業務,架構設計思路是“解放數據庫CPU,將計算轉移到服務層”,併發量大的情況下,這些功能很可能將數據庫拖死,業務邏輯放到服務層具備更好的擴展性,能夠輕易實現“增機器就加性能”。數據庫擅長存儲與索引,CPU計算還是上移吧
    (5)禁止存儲大文件或者大照片
    解讀:爲何要讓數據庫做它不擅長的事情?大文件和照片存儲在文件系統,數據庫裏存URI多好
    二、命名規範
    (6)只允許使用內網域名,而不是ip連接數據庫
    (7)線上環境、開發環境、測試環境數據庫內網域名遵循命名規範
    業務名稱:xxx
    線上環境:dj.xxx.db
    開發環境:dj.xxx.rdb
    測試環境:dj.xxx.tdb
    從庫在名稱後加-s標識,備庫在名稱後加-ss標識
    線上從庫:dj.xxx-s.db
    線上備庫:dj.xxx-sss.db
    (8)庫名、表名、字段名:小寫,下劃線風格,不超過32個字符,必須見名知意,禁止拼音英文混用
    (9)表名t_xxx,非唯一索引名idx_xxx,唯一索引名uniq_xxx
    三、表設計規範
    (10)單實例表數目必須小於500;控制單表數據量,int型不超過1000w,含char則不超過500w;合理分表;
    (11)單表列數目必須小於30個
    (12)表必須有主鍵,例如自增主鍵
    解讀:
    a)主鍵遞增,數據行寫入可以提高插入性能,可以避免page分裂,減少表碎片提升空間和內存的使用
    b)主鍵要選擇較短的數據類型, Innodb引擎普通索引都會保存主鍵的值,較短的數據類型可以有效的減少索引的磁盤空間,提高索引的緩存效率
    c) 無主鍵的表刪除,在row模式的主從架構,會導致備庫夯住
    (13)禁止使用外鍵,如果有外鍵完整性約束,需要應用程序控制
    解讀:外鍵會導致表與表之間耦合,update與delete操作都會涉及相關聯的表,十分影響sql 的性能,甚至會造成死鎖。高併發情況下容易造成數據庫性能,大數據高併發業務場景數據庫使用以性能優先
    "拒絕3B
    拒絕大sql語句:big sql
    拒絕大事物:big transaction
    拒絕大批量:big batch"
    四、字段設計規範
    (14)必須把字段定義爲NOT NULL並且提供默認值
    解讀:
    a)null的列使索引/索引統計/值比較都更加複雜,對MySQL來說更難優化
    b)null 這種類型MySQL內部需要進行特殊處理,增加數據庫處理記錄的複雜性;同等條件下,表中有較多空字段的時候,數據庫的處理性能會降低很多
    c)null值需要更多的存儲空,無論是表還是索引中每行中的null的列都需要額外的空間來標識
    d)對null 的處理時候,只能採用is null或is not null,而不能採用=、in、<、<>、!=、not in這些操作符號。如:where name!=’shenjian’,如果存在name爲null值的記錄,查詢結果就不會包含name爲null值的記錄
    (15)禁止使用TEXT、BLOB類型
    解讀:會浪費更多的磁盤和內存空間,非必要的大量的大字段查詢會淘汰掉熱數據,導致內存命中率急劇降低,影響數據庫性能
    (16)禁止使用小數存儲貨幣
    解讀:使用整數吧,小數容易導致錢對不上
    (17)必須使用varchar(20)存儲手機號
    解讀:
    a)涉及到區號或者國家代號,可能出現+-()
    b)手機號會去做數學運算麼?
    c)varchar可以支持模糊查詢,例如:like“138%”
    (18)禁止使用ENUM,可使用TINYINT代替
    解讀:
    a)增加新的ENUM值要做DDL操作
    b)ENUM的內部實際存儲就是整數,你以爲自己定義的是字符串?
    "關於字段設計規範補充
    用好數值類型
    tinyint(1Byte)
    smallint(2Byte)
    mediumint(3Byte)
    int(4Byte)
    bigint(8Byte)
    bad case:int(1)/int(11)

字符轉化爲數字
用int而不是char(15)存儲ip

優先使用enum或set
例如:sex enum (‘F’, ‘M’)

避免使用NULL字段
NULL字段很難查詢優化;
NULL字段的索引需要額外空間;
NULL字段的複合索引無效;
bad case:
name char(32) default null
age int not null
good case:
age int not null default 0

少用text/blob
varchar的性能會比text高很多;實在避免不了blob,請拆表;

不在數據庫裏存圖片
這個我不能理解!但這是趕集網的經驗,求detail!"
五、索引設計規範
(19)單表索引建議控制在5個以內
(20)單索引字段數不允許超過5個
解讀:字段超過5個時,實際已經起不到有效過濾數據的作用了
(21)禁止在更新十分頻繁、區分度不高的屬性上建立索引
解讀:
a)更新會變更B+樹,更新頻繁的字段建立索引會大大降低數據庫性能
b)“性別”這種區分度不大的屬性,建立索引是沒有什麼意義的,不能有效過濾數據,性能與全表掃描類似
(22)建立組合索引,必須把區分度高的字段放在前面
解讀:能夠更加有效的過濾數據
"關於索引補充:
謹慎合理使用索引
改善查詢、減慢更新;索引一定不是越多越好能不加就不加,要加的一定得加、;覆蓋記錄條數過多不適合建索引,例如“性別”;
字符字段必須建前綴索引
不在索引做列運算
!!!不只是索引,都不能做列運算吧!!!
bad case:
select id where age +1 = 10;
innodb主鍵推薦使用自增列;
主鍵建立聚簇索引;主鍵不應該被修改;字符串不應該做主鍵;如果不指定主鍵,innodb會使用唯一且非空值索引代替;
不用外鍵
請由程序保證約束;"
六、SQL使用規範
(23)禁止使用SELECT ,只獲取必要的字段,需要顯示說明列屬性
解讀:
a)讀取不需要的列會增加CPU、IO、NET消耗
b)不能有效的利用覆蓋索引
c)使用SELECT
容易在增加或者刪除字段後出現程序BUG
(24)禁止使用INSERT INTO t_xxx VALUES(xxx),必須顯示指定插入的列屬性
解讀:容易在增加或者刪除字段後出現程序BUG
(25)禁止使用屬性隱式轉換
解讀:SELECT uid FROM t_user WHERE phone=13812345678 會導致全表掃描,而不能命中phone索引,猜猜爲什麼?(這個線上問題不止出現過一次)
(26)禁止在WHERE條件的屬性上使用函數或者表達式
解讀:SELECT uid FROM t_user WHERE from_unixtime(day)>='2017-02-15' 會導致全表掃描
正確的寫法是:SELECT uid FROM t_user WHERE day>= unix_timestamp('2017-02-15 00:00:00')
(27)禁止負向查詢,以及%開頭的模糊查詢
解讀:
a)負向查詢條件:NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等,會導致全表掃描
b)%開頭的模糊查詢,會導致全表掃描
(28)禁止大表使用JOIN查詢,禁止大表使用子查詢
解讀:會產生臨時表,消耗較多內存與CPU,極大影響數據庫性能
(29)禁止使用OR條件,必須改爲IN查詢
解讀:舊版本Mysql的OR查詢是不能命中索引的,即使能命中索引,爲何要讓數據庫耗費更多的CPU幫助實施查詢優化呢?
(30)應用程序必須捕獲SQL異常,並有相應處理
總結:大數據量高併發的互聯網業務,極大影響數據庫性能的都不讓用,不讓用喲。
"關於SQL使用規範補充:
17、sql語句儘可能簡單
一條sql只能在一個cpu運算;大語句拆小語句,減少鎖時間;一條大sql可以堵死整個庫;
18、簡單的事務
事務時間儘可能短;
bad case:
上傳圖片事務
19、避免使用trig/func
觸發器、函數不用;客戶端程序取而代之;
20、不用select
消耗cpu,io,內存,帶寬;這種程序不具有擴展性;
21、OR改寫爲IN()
or的效率是n級別;
in的消息時log(n)級別;
in的個數建議控制在200以內;
select id from t where phone=’159′ or phone=’136′;
=>
select id from t where phone in (’159′, ’136′);
22、OR改寫爲UNION
mysql的索引合併很弱智
select id from t where phone = ’159′ or name = ‘john’;
=>
select id from t where phone=’159′
union
select id from t where name=’jonh’
23、避免負向%
24、慎用count(
)
25、limit高效分頁,limit偏移量越大(如下的例子是從第10001起的10條記錄,其中10000就是偏移量),效率越低
select id from t limit 10000, 10;
=>
select id from t where id > 10000 limit 10;
26、使用union all替代union
union有去重開銷
27、少用連接join
28、使用group by
分組;自動排序;
29、請使用同類型比較
30、使用load data導數據
load data比insert快約20倍;
31、打散批量更新
32、新能分析工具
show profile;
mysqlsla;
mysqldumpslow;
explain;
show slow log;
show processlist;
show query_response_time(percona) "

一、一些常見的SQL實踐
(1)負向條件查詢不能使用索引
·         select * from order where status!=0 and stauts!=1
not in/not exists都不是好習慣

可以優化爲in查詢:
·         select * from order where status in(2,3)

(2)前導模糊查詢不能使用索引
·         select from order where desc like '%XX'
而非前導模糊查詢則可以:
·         select
from order where desc like 'XX%'

(3)數據區分度不大的字段不宜使用索引
·         select * from user where sex=1
原因:性別只有男,女,每次過濾掉的數據很少,不宜使用索引。

經驗上,能過濾80%數據時就可以使用索引。對於訂單狀態,如果狀態值很少,不宜使用索引,如果狀態值很多,能夠過濾大量數據,則應該建立索引。

(4)在屬性上進行計算不能命中索引
·         select from order where YEAR(date) < = '2017'
即使date上建立了索引,也會全表掃描,可優化爲值計算:
·         select
from order where date < = CURDATE()
或者:
·         select * from order where date < = '2017-01-01'

二、並非周知的SQL實踐
(5)如果業務大部分是單條查詢,使用Hash索引性能更好,例如用戶中心
·         select from user where uid=?
·         select
from user where login_name=?
原因:
B-Tree索引的時間複雜度是O(log(n))
Hash索引的時間複雜度是O(1)

(6)允許爲null的列,查詢有潛在大坑
單列索引不存null值,複合索引不存全爲null的值,如果列允許爲null,可能會得到“不符合預期”的結果集
·         select * from user where name != 'shenjian'
如果name允許爲null,索引不存儲null值,結果集中不會包含這些記錄。

所以,請使用not null約束以及默認值。

(7)複合索引最左前綴,並不是值SQL語句的where順序要和複合索引一致
用戶中心建立了(login_name, passwd)的複合索引
·         select from user where login_name=? and passwd=?
·         select
from user where passwd=? and login_name=?
都能夠命中索引

·         select * from user where login_name=?
也能命中索引,滿足複合索引最左前綴

·         select * from user where passwd=?
不能命中索引,不滿足複合索引最左前綴

(8)使用ENUM而不是字符串
ENUM保存的是TINYINT,別在枚舉中搞一些“中國”“北京”“技術部”這樣的字符串,字符串空間又大,效率又低。

三、小衆但有用的SQL實踐
(9)如果明確知道只有一條結果返回,limit 1能夠提高效率
·         select from user where login_name=?
可以優化爲:
·         select
from user where login_name=? limit 1
原因:
你知道只有一條結果,但數據庫並不知道,明確告訴它,讓它主動停止遊標移動

(10)把計算放到業務層而不是數據庫層,除了節省數據的CPU,還有意想不到的查詢緩存優化效果
·         select from order where date < = CURDATE()
這不是一個好的SQL實踐,應該優化爲:
$curDate = date('Y-m-d');
$res = mysql_query(
    'select
from order where date < = $curDate');
原因:
釋放了數據庫的CPU
多次調用,傳入的SQL相同,纔可以利用查詢緩存

(11)強制類型轉換會全表掃描
·         select * from user where phone=13800001234
你以爲會命中phone索引麼?大錯特錯了,這個語句究竟要怎麼改?

末了,再加一條,不要使用select *(潛臺詞,文章的SQL都不合格 =_=),只返回需要的列,能夠大大的節省數據傳輸量,與數據庫的內存使用量喲。

MySQL my.cnf主要參數配置解析

***skip-name-resolve  
 禁止MySQL對外部連接進行DNS解析,使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意,如果開啓該選項,  
 則所有遠程主機連接授權都要使用IP地址方式,否則MySQL將無法正常處理連接請求  
  
skip-networking  
  
back_log = 600  
 MySQL能有的連接數量。當主要MySQL線程在一個很短時間內得到非常多的連接請求,這就起作用,  
 然後主線程花些時間(儘管很短)檢查連接並且啓動一個新線程。back_log值指出在MySQL暫時停止回答新請求之前的短時間內多少個請求可以被存在堆棧中。  
 如果期望在一個短時間內有很多連接,你需要增加它。也就是說,如果MySQL的連接數據達到max_connections時,新來的請求將會被存在堆棧中,  
 以等待某一連接釋放資源,該堆棧的數量即back_log,如果等待連接的數量超過back_log,將不被授予連接資源。  
 另外,這值(back_log)限於您的操作系統對到來的TCP/IP連接的偵聽隊列的大小。  
 你的操作系統在這個隊列大小上有它自己的限制(可以檢查你的OS文檔找出這個變量的最大值),試圖設定back_log高於你的操作系統的限制將是無效的。  
  
max_connections = 1000  
 MySQL的最大連接數,如果服務器的併發連接請求量比較大,建議調高此值,以增加並行連接數量,當然這建立在機器能支撐的情況下,因爲如果連接數越多,介於MySQL會爲每個連接提供連接緩衝區,就會開銷越多的內存,所以要適當調整該值,不能盲目提高設值。可以過'conn%'通配符查看當前狀態的連接數量,以定奪該值的大小。  
  
max_connect_errors = 6000  
 對於同一主機,如果有超出該參數值個數的中斷錯誤連接,則該主機將被禁止連接。如需對該主機進行解禁,執行:FLUSH HOST。  
  
open_files_limit = 65535  
 MySQL打開的文件描述符限制,默認最小1024;當open_files_limit沒有被配置的時候,比較max_connections5和ulimit -n的值,哪個大用哪個,  
 當open_file_limit被配置的時候,比較open_files_limit和max_connections
5的值,哪個大用哪個。  
  
table_open_cache = 128  
 MySQL每打開一個表,都會讀入一些數據到table_open_cache緩存中,當MySQL在這個緩存中找不到相應信息時,纔會去磁盤上讀取。默認值64  
 假定系統有200個併發連接,則需將此參數設置爲200*N(N爲每個連接所需的文件描述符數目);  
 當把table_open_cache設置爲很大時,如果系統處理不了那麼多文件描述符,那麼就會出現客戶端失效,連接不上  
  
max_allowed_packet = 4M  
 接受的數據包大小;增加該變量的值十分安全,這是因爲僅當需要時纔會分配額外內存。例如,僅當你發出長查詢或MySQLd必須返回大的結果行時MySQLd纔會分配更多內存。  
 該變量之所以取較小默認值是一種預防措施,以捕獲客戶端和服務器之間的錯誤信息包,並確保不會因偶然使用大的信息包而導致內存溢出。  
  
binlog_cache_size = 1M  
 一個事務,在沒有提交的時候,產生的日誌,記錄到Cache中;等到事務提交需要提交的時候,則把日誌持久化到磁盤。默認binlog_cache_size大小32K  
  
max_heap_table_size = 8M  
 定義了用戶可以創建的內存表(memory table)的大小。這個值用來計算內存表的最大行數值。這個變量支持動態改變  
  
tmp_table_size = 16M  
 MySQL的heap(堆積)表緩衝大小。所有聯合在一個DML指令內完成,並且大多數聯合甚至可以不用臨時表即可以完成。  
 大多數臨時表是基於內存的(HEAP)表。具有大的記錄長度的臨時表 (所有列的長度的和)或包含BLOB列的表存儲在硬盤上。  
 如果某個內部heap(堆積)表大小超過tmp_table_size,MySQL可以根據需要自動將內存中的heap表改爲基於硬盤的MyISAM表。還可以通過設置tmp_table_size選項來增加臨時表的大小。也就是說,如果調高該值,MySQL同時將增加heap表的大小,可達到提高聯接查詢速度的效果  
  
read_buffer_size = 2M  
 MySQL讀入緩衝區大小。對錶進行順序掃描的請求將分配一個讀入緩衝區,MySQL會爲它分配一段內存緩衝區。read_buffer_size變量控制這一緩衝區的大小。  
 如果對錶的順序掃描請求非常頻繁,並且你認爲頻繁掃描進行得太慢,可以通過增加該變量值以及內存緩衝區大小提高其性能  
  
read_rnd_buffer_size = 8M  
 MySQL的隨機讀緩衝區大小。當按任意順序讀取行時(例如,按照排序順序),將分配一個隨機讀緩存區。進行排序查詢時,  
 MySQL會首先掃描一遍該緩衝,以避免磁盤搜索,提高查詢速度,如果需要排序大量數據,可適當調高該值。但MySQL會爲每個客戶連接發放該緩衝空間,所以應儘量適當設置該值,以避免內存開銷過大  
  
sort_buffer_size = 8M  
 MySQL執行排序使用的緩衝大小。如果想要增加ORDER BY的速度,首先看是否可以讓MySQL使用索引而不是額外的排序階段。  
 如果不能,可以嘗試增加sort_buffer_size變量的大小  
  
join_buffer_size = 8M  
 聯合查詢操作所能使用的緩衝區大小,和sort_buffer_size一樣,該參數對應的分配內存也是每連接獨享  
  
thread_cache_size = 8  
 這個值(默認8)表示可以重新利用保存在緩存中線程的數量,當斷開連接時如果緩存中還有空間,那麼客戶端的線程將被放到緩存中,  
 如果線程重新被請求,那麼請求將從緩存中讀取,如果緩存中是空的或者是新的請求,那麼這個線程將被重新創建,如果有很多新的線程,  
 增加這個值可以改善系統性能.通過比較Connections和Threads_created狀態的變量,可以看到這個變量的作用。(–>表示要調整的值)  
 根據物理內存設置規則如下:  
 1G  —> 8  
 2G  —> 16  
 3G  —> 32  
 大於3G  —> 64  
  
query_cachesize = 8M  
MySQL的查詢緩衝大小(從4.0.1開始,MySQL提供了查詢緩衝機制)使用查詢緩衝,MySQL將SELECT語句和查詢結果存放在緩衝區中,  
 今後對於同樣的SELECT語句(區分大小寫),將直接從緩衝區中讀取結果。根據MySQL用戶手冊,使用查詢緩衝最多可以達到238%的效率。  
 通過檢查狀態值'Qcache
%',可以知道query_cache_size設置是否合理:如果Qcache_lowmem_prunes的值非常大,則表明經常出現緩衝不夠的情況,  
 如果Qcache_hits的值也非常大,則表明查詢緩衝使用非常頻繁,此時需要增加緩衝大小;如果Qcache_hits的值不大,則表明你的查詢重複率很低,  
 這種情況下使用查詢緩衝反而會影響效率,那麼可以考慮不用查詢緩衝。此外,在SELECT語句中加入SQL_NO_CACHE可以明確表示不使用查詢緩衝  
  
query_cache_limit = 2M  
指定單個查詢能夠使用的緩衝區大小,默認1M  
  
key_buffer_size = 4M  
指定用於索引的緩衝區大小,增加它可得到更好處理的索引(對所有讀和多重寫),到你能負擔得起那樣多。如果你使它太大,  
 系統將開始換頁並且真的變慢了。對於內存在4GB左右的服務器該參數可設置爲384M或512M。通過檢查狀態值Key_read_requests和Key_reads,  
 可以知道key_buffer_size設置是否合理。比例key_reads/key_read_requests應該儘可能的低,  
 至少是1:100,1:1000更好(上述狀態值可以使用SHOW STATUS LIKE 'key_read%'獲得)。注意:該參數值設置的過大反而會是服務器整體效率降低  
  
ft_min_word_len = 4  
 分詞詞彙最小長度,默認4  
  
transaction_isolation = REPEATABLE-READ  
 MySQL支持4種事務隔離級別,他們分別是:  
 READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.  
 如沒有指定,MySQL默認採用的是REPEATABLE-READ,ORACLE默認的是READ-COMMITTED  
  
log_bin = mysql-bin  
binlog_format = mixed  
expire_logs_days = 30 #超過30天的binlog刪除  
  
log_error = /data/mysql/mysql-error.log #錯誤日誌路徑  
slow_query_log = 1  
long_query_time = 1 #慢查詢時間 超過1秒則爲慢查詢  
slow_query_log_file = /data/mysql/mysql-slow.log  
  
performance_schema = 0  
explicit_defaults_for_timestamp  
  
lower_case_table_names = 1 #不區分大小寫  
  
skip-external-locking #MySQL選項以避免外部鎖定。該選項默認開啓  
  
default-storage-engine = InnoDB #默認存儲引擎  
  
innodb_file_per_table = 1  
 InnoDB爲獨立表空間模式,每個數據庫的每個表都會生成一個數據空間  
 獨立表空間優點:  
 1.每個表都有自已獨立的表空間。  
 2.每個表的數據和索引都會存在自已的表空間中。  
 3.可以實現單表在不同的數據庫中移動。  
 4.空間可以回收(除drop table操作處,表空不能自已回收)  
 缺點:  
 單表增加過大,如超過100G  
 結論:  
 共享表空間在Insert操作上少有優勢。其它都沒獨立表空間表現好。當啓用獨立表空間時,請合理調整:innodb_open_files  
  
innodb_open_files = 500  
 限制Innodb能打開的表的數據,如果庫裏的表特別多的情況,請增加這個。這個值默認是300  
  
innodb_buffer_pool_size = 64M  
 InnoDB使用一個緩衝池來保存索引和原始數據, 不像MyISAM.  
 這裏你設置越大,你在存取表裏面數據時所需要的磁盤I/O越少.  
 在一個獨立使用的數據庫服務器上,你可以設置這個變量到服務器物理內存大小的80%  
 不要設置過大,否則,由於物理內存的競爭可能導致操作系統的換頁顛簸.  
 注意在32位系統上你每個進程可能被限制在 2-3.5G 用戶層面內存限制,  
 所以不要設置的太高.  
  
innodb_write_io_threads = 4  
innodb_read_io_threads = 4  
 innodb使用後臺線程處理數據頁上的讀寫 I/O(輸入輸出)請求,根據你的 CPU 核數來更改,默認是4  
 注:這兩個參數不支持動態改變,需要把該參數加入到my.cnf裏,修改完後重啓MySQL服務,允許值的範圍從 1-64  
  
innodb_thread_concurrency = 0  
 默認設置爲 0,表示不限制併發數,這裏推薦設置爲0,更好去發揮CPU多核處理能力,提高併發量  
  
innodb_purge_threads = 1  
 InnoDB中的清除操作是一類定期回收無用數據的操作。在之前的幾個版本中,清除操作是主線程的一部分,這意味着運行時它可能會堵塞其它的數據庫操作。  
 從MySQL5.5.X版本開始,該操作運行於獨立的線程中,並支持更多的併發數。用戶可通過設置innodb_purge_threads配置參數來選擇清除操作是否使用單  
 獨線程,默認情況下參數設置爲0(不使用單獨線程),設置爲 1 時表示使用單獨的清除線程。建議爲1  
  
innodb_flush_log_at_trx_commit = 2  
 0:如果innodb_flush_log_at_trx_commit的值爲0,log buffer每秒就會被刷寫日誌文件到磁盤,提交事務的時候不做任何操作(執行是由mysql的master thread線程來執行的。  
 主線程中每秒會將重做日誌緩衝寫入磁盤的重做日誌文件(REDO LOG)中。不論事務是否已經提交)默認的日誌文件是ib_logfile0,ib_logfile1  
 1:當設爲默認值1的時候,每次提交事務的時候,都會將log buffer刷寫到日誌。  
 2:如果設爲2,每次提交事務都會寫日誌,但並不會執行刷的操作。每秒定時會刷到日誌文件。要注意的是,並不能保證100%每秒一定都會刷到磁盤,這要取決於進程的調度。  
 每次事務提交的時候將數據寫入事務日誌,而這裏的寫入僅是調用了文件系統的寫入操作,而文件系統是有 緩存的,所以這個寫入並不能保證數據已經寫入到物理磁盤  
 默認值1是爲了保證完整的ACID。當然,你可以將這個配置項設爲1以外的值來換取更高的性能,但是在系統崩潰的時候,你將會丟失1秒的數據。  
 設爲0的話,mysqld進程崩潰的時候,就會丟失最後1秒的事務。設爲2,只有在操作系統崩潰或者斷電的時候纔會丟失最後1秒的數據。InnoDB在做恢復的時候會忽略這個值。  
 總結  
 設爲1當然是最安全的,但性能頁是最差的(相對其他兩個參數而言,但不是不能接受)。如果對數據一致性和完整性要求不高,完全可以設爲2,如果只最求性能,例如高併發寫的日誌服務器,設爲0來獲得更高性能  
  
innodb_log_buffer_size = 2M  
 此參數確定些日誌文件所用的內存大小,以M爲單位。緩衝區更大能提高性能,但意外的故障將會丟失數據。MySQL開發人員建議設置爲1-8M之間  
  
innodb_log_file_size = 32M  
 此參數確定數據日誌文件的大小,更大的設置可以提高性能,但也會增加恢復故障數據庫所需的時間  
  
innodb_log_files_in_group = 3  
 爲提高性能,MySQL可以以循環方式將日誌文件寫到多個文件。推薦設置爲3  
  
innodb_max_dirty_pages_pct = 90  
 innodb主線程刷新緩存池中的數據,使髒數據比例小於90%  
  
innodb_lock_wait_timeout = 120   
 InnoDB事務在被回滾之前可以等待一個鎖定的超時秒數。InnoDB在它自己的鎖定表中自動檢測事務死鎖並且回滾事務。InnoDB用LOCK TABLES語句注意到鎖定設置。默認值是50秒  
  
bulk_insert_buffer_size = 8M  
 批量插入緩存大小, 這個參數是針對MyISAM存儲引擎來說的。適用於在一次性插入100-1000+條記錄時, 提高效率。默認值是8M。可以針對數據量的大小,翻倍增加。  
  
myisam_sort_buffer_size = 8M  
 MyISAM設置恢復表之時使用的緩衝區的尺寸,當在REPAIR TABLE或用CREATE INDEX創建索引或ALTER TABLE過程中排序 MyISAM索引分配的緩衝區  
  
myisam_max_sort_file_size = 10G  
 如果臨時文件會變得超過索引,不要使用快速排序索引方法來創建一個索引。註釋:這個參數以字節的形式給出  
  
myisam_repair_threads = 1  
 如果該值大於1,在Repair by sorting過程中並行創建MyISAM表索引(每個索引在自己的線程內)    
  
interactive_timeout = 28800  
 服務器關閉交互式連接前等待活動的秒數。交互式客戶端定義爲在mysql_real_connect()中使用CLIENT_INTERACTIVE選項的客戶端。默認值:28800秒(8小時)  
  
wait_timeout = 28800  
 服務器關閉非交互連接之前等待活動的秒數。在線程啓動時,根據全局wait_timeout值或全局interactive_timeout值初始化會話wait_timeout值,  
 取決於客戶端類型(由mysql_real_connect()的連接選項CLIENT_INTERACTIVE定義)。參數默認值:28800秒(8小時)  
 MySQL服務器所支持的最大連接數是有上限的,因爲每個連接的建立都會消耗內存,因此我們希望客戶端在連接到MySQL Server處理完相應的操作後,  
 應該斷開連接並釋放佔用的內存。如果你的MySQL Server有大量的閒置連接,他們不僅會白白消耗內存,而且如果連接一直在累加而不斷開,  
 最終肯定會達到MySQL Server的連接上限數,這會報'too many connections'的錯誤。對於wait_timeout的值設定,應該根據系統的運行情況來判斷。  
 在系統運行一段時間後,可以通過show processlist命令查看當前系統的連接狀態,如果發現有大量的sleep狀態的連接進程,則說明該參數設置的過大,  
 可以進行適當的調整小些。要同時設置interactive_timeout和wait_timeout纔會生效。  
  
[mysqldump]  
quick  
max_allowed_packet = 16M #服務器發送和接受的最大包長度  
  
[myisamchk]  
key_buffer_size = 8M  
sort_buffer_size = 8M  
read_buffer = 4M  
write_buffer = 4M  **

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章