Linux 磁盤設備基礎知識指南
磁盤體系:
[root@oldboy ~]# free -m
total used free shared buffers cached
Mem: 496 210 286 0 50 95
-/+ buffers/cache: 64 432
Swap: 1023 0 1023
提示:
linux 系統的特性是將系統不同的物理內存緩存起來,因此,129不是系統的真實內存。
系統真正系統內存是215M
buffers 爲寫入緩衝區,sync 將 buffer 緩衝區數據寫入磁盤。
cache 爲讀出緩存,磁盤裏的數據讀出來存到 cache 裏。
SSD 固態磁盤接口類型
SSD固態磁盤主流接口類型分爲:
1)SATA 接口:SATA SATA2 SATA3.0
2)PATA(IDE 接口):IDE44PIN IDE40PIN
3)PCI-E 接口:mSATA PCIE(IDE) PCIE(SATA)ZIF:ZIF接口等
SSD 固態磁盤優點:
啓動快、讀取延遲小、碎片不影響讀取時間、寫入速度快、無噪音、發熱量較低、無機械故障、工作溫度範圍更大、體積小重量輕、抗震動
SSD 固態磁盤缺點:
成本高、容量低、易受外界影響、寫入壽命有限、數據難以恢復、電池航程較短、耗能較高
生產工作中服務器的選型和應用案例
生產工作中服務器的選型
企業生產工作中磁盤的選型
磁盤:
當前服務器市場:主流磁盤爲SAS、SATA、SSD硬盤
1)企業級SAS硬盤應用場景:
企業裏常見的SAS硬盤是15000轉/分(這裏就是主軸的轉數)。當前主流300G、600G、1000G,從具體的業務需求及性價比考慮,一般我們工作中多用300-600G的SAS硬盤,用於提供生產線上的普通對外提供服務的業務服務器:
例如:生產線上的數據庫業務、存儲業務、圖片業務及相關高併發業務(web http, cache服務),總的來說,如果沒有特殊業務需求,SAS磁盤就是生產環境首選的磁盤配置。
2)企業級SATA硬盤應用場景:
企業級SATA硬盤7200-10000轉/分,常見的容量爲IT和2T,優點是經濟實惠,容量大,從具體的業務需求及性價比考慮,我們在工作中多用SATA磁盤做線下不提供服務的數據存儲或者併發業務訪問不是很大的業務應用,比如站點程序及數據庫、圖片的線下備份等。特性:容量性價比高,一般2T和SATA磁盤較佳。
磁盤使用小結:
線上的業務(對外提供服務),用SAS磁盤。
線下的業務(不對外提供),用SATA磁盤。
線上高併發、小容量的業務,SSD磁盤。
根據數據的訪問熱度,智能分析分層存儲。淘寶(sata500G+ssd 80G)
特別注意:
千萬不要用SATA磁盤來做在線高併發服務的數據存儲或數據庫業務或數據庫業務。某公司採用SATA做數據庫的存儲盤,結果導致數據庫連續宕機一個月。
解決:把磁盤從SATA(RAID5)換成SAS(RAID10)。
3)SSD 固態電子盤:
特點:容量小,價格貴,速度快。一般用於數據量小並且有越大規模高併發的業務(這不是唯一的辦法,還可以通過磁盤加內存緩存的技術方式解決這個大規模併發的問題)。
百度、騰訊、360核心業務都會採用SSD磁盤。
特別提示:
大公司如taobao,某些業務可能會根據數據的熱度來綜合使用分層存儲,以達到性價比最佳的情況。
不同類型磁盤的價格容量普及度對比
生產環境主流磁盤的相關信息對比:
企業生產普及程序:SAS>SATA>SSD
單位容量對比性能價格:SSD>SAS>SATA
單位價格購買磁盤容量:SATA>SAS>SSD
當前的工作,SAS,SATA是主流生產環境使用,SSD 固態磁盤,效率最高,非機械式的,是慢性子設備、價格高:
淘寶網CDN緩存對象分級存儲策略案例
提出問題:
在存儲數據中,18KB 以下的對象數量佔總數量的80%,而其存儲量佔總量不到40%;同時,80% 經常被訪問對象所佔用的存儲空間不到總量的20%。
分析問題:
以上的問題意味着“熱點數據”(即訪問頻次高的內容)需要更快的性能,而佔的空間並不大,而“冷數據”(訪問頻次低的內容)所需存儲量很大,對性能要求不需要高。
解決問題:
因此,服務器引入分層存儲機制,單臺服務器(實際會多臺)的磁盤可由一塊80GB的SSD磁盤和兩塊500GB 的 SATA 盤組成。然後把“熱數據”存放在SSD盤上,“冷數據”存放在SATA盤上,冷熱數據可以動態調度,從而兼顧性能、容量與成本。另:分層存儲調度軟件由淘寶開發。
上面的策略是高效,低成本方案,這是我們運維工作需要重視的,實際工作中不可能不考慮成本,而無限制的去提升性能。