原创 mysql統計每分鐘增刪改查語句次數

原理: 每分鐘定期採集mysql的增刪改查數據(mysql實例啓動以來的總數),描成曲線; show global status where variable_name in('com_select','com_insert','c

原创 淺析日誌結構的存儲引擎(1)-bitcask

  這系列文章主要是講key-value結構的存儲引擎,比如bitcask、sstable、LSM-tree等。不涉及內存型的key-value,比如redis。   一、數據寫入與查找 對於數據寫入磁盤,最簡單最快的方式就是順序寫入磁盤

原创 淺析存儲引擎(3)-B-tree

  淺析日誌結構的存儲引擎(1)-bitcask淺析日誌結構的存儲引擎(2)-SSTable和LSM-Tree 前面兩篇文章介紹了比較好理解的日誌結構引擎LSM-Tree,但它們不是最常見的索引類型。目前最廣泛使用的索引結構是B-tree

原创 什麼是可靠、可擴展、可維護的系統?

一,可靠性的挑戰 1,人爲故障是線上系統故障的首要原因,應該怎麼避免  1.1簡化設計,易於測試  1.2充分測試,覆蓋場景  1.3快速回滾,降低損失  1.4完善監控  1.5規範流程,這點最重要 2,軟件故障  2.1簡單架構,降低

原创 淺析存儲引擎(4)-對比B-tree和LSM-tree

淺析日誌結構的存儲引擎(1)-bitcask淺析日誌結構的存儲引擎(2)-SSTable和LSM-Tree淺析存儲引擎(3)-B-tree 一、磁盤碎片率 由於B-tree存儲引擎按固定頁寫入,那麼通常每一頁都會有些空間無法使用。而LSM

原创 推廣與黑產雜談

  假設存在場景:公司花了100萬推廣,引入了10萬的新增活躍用戶。   問題一:什麼是買量 1,推廣本質上是打廣告的一種形式 2,比如手機預裝渠道,存在多個同類型app競爭情況下,推廣會影響新增用戶量 3,與公司合作的推廣商,爲了完成合

原创 淺析日誌結構的存儲引擎(2)-SSTable和LSM-Tree

基於上一篇文章,我們已經知道了日誌結構的存儲引擎-bitcask的基本原理。在這個基礎上,繼續討論SSTable。 回顧一下bitcask的key-value,它在段文件中是無序的,假設按key排序,並且要求每個key在每個段中只能出現一

原创 行存儲和列存儲的區別

  一、對比行存儲和列存儲的區別前,我們先來聊下背景。假設我們用mysql做了一個商品訂單庫order, 如下 orderid name kind price kg time 1 豬肉 肉類 50 2.0 2020.01.01 2 牛肉

原创 MyISAM和InnoDB的區別

應用層的區別: 1,MyISAM不支持外鍵,InnoDB支持,這是非關係型和關係型數據庫的最大區別 2,MyISAM不支持事務,InnoDB支持 3,MyISAM不支持行鎖,InnoDB支持,InnoDB也會退化爲表鎖 4,MyISAM支

原创 第一章 如何定義可靠、可擴展與可維護的應用系統?

一,可靠性的挑戰 1,人爲故障是線上系統故障的首要原因,應該怎麼避免  1.1簡化設計,易於測試  1.2充分測試,覆蓋場景  1.3快速回滾,降低損失  1.4完善監控  1.5規範流程,這點最重要 2,軟件故障  2.1簡單架構,降低

原创 磁盤util高問題排查

發現DB機器磁盤util100% 通過iostat命令,發現讀寫IO讀寫不超過500 通常,磁盤讀寫次數的QPS不低於幾千,所以結論是磁盤故障。 原文出自:http://blog.csdn.net/daiyudong20

原创 memcached安裝與使用

下載地址: http://memcached.org/downloads 測試環境: Centos7 依賴libevent庫: yum install libevent yum install libevent-devel  安

原创 openresty在access_log打印自定義變量

期望:在access_log打印自定義變量define_error_code nginx配置: worker_processes 1; events { worker_connections 1024; } http

原创 linux按行切割文件

  split --help   Usage: split [OPTION]... [INPUT [PREFIX]] Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ..

原创 nginx server_name匹配規則

官網說明:http://nginx.org/en/docs/http/server_names.html 需要記住的是兩點: 1)完全匹配,匹配成功則終止搜索 2)不匹配,默認走第1個server 3)如何禁止IP訪問和非法域名訪問