Ceph集羣問題梳理
創建: 昨天5:35 下午
,最新修改:
問題1: 數據傳到日誌盤,會立刻刪除還是延遲刪除?
驗證:優化參數
#從日誌到數據盤最大同步間隔間隔秒數,默認: 5
filestore max sync interval = 15
過程分析:客戶端某一object發送給ceph的pg,注意,是寫到日誌就返回結果,然後在15秒的間隔內,
三個osd節點數據都同步完成纔會刪除日誌盤內數據,同時通知客戶端可以刪除自己內存中的數據,
如果此時數據丟失,支持客戶端根據自己內存中的緩存重新提交數據的功能
問題2: 多個object到一個primary osd後,是併發處理,還是阻塞
驗證:由於客戶端的讀寫都是直接和primary osd打交道,而我們使用xfs文件系統的特點是,寫入日誌就返回,所以我們使用ssd做日誌盤,來快速處理大量併發的寫請求
問題3: 用ssd做日誌盤,每個分區應該分多大
官方推薦(硬盤和網絡帶寬較小的一個*最大同步間隔秒數)*2
本次項目硬盤最大帶寬12Gbps 最大同步間隔秒數爲15
一臺sshd分兩個分區,每個分區做一個日誌盤,每個日誌盤大小(每個分區大小)=12Gbps*15*2=360Gb=45G
日誌盤:
固態硬盤
少分區(分區對齊,採用腳本使用百分比的方式分區)
小分區(不要把分區佔滿整個硬盤,預留一部分空間,我們sshd是200G,可以使用150G左右),使用率不要超過90%,不要進行碎片整理。
問題4: file切分成單個object性能最優
從性能角度考慮應該設置成2的倍數,如果是小文件居多可以採用4
如果是鏡像,或者是雲主機的磁盤鏡像文件,可以採用8
單位默認都是M