首先創建lvm(2個8T的盤,由於硬件製造商的原因8T的盤在操作系統識別來看並沒有8T)
parted /dev/sdb
parted /dev/sdc
(parted) mklabel gpt #標記爲gpt格式的硬盤
(parted) mkpart #分區
文件系統類型？ [ext2]? ext4 #ext4文件系統
起始點？ 0
結束點？-1
toggle lvm #給分區打上lvm標籤mkfs.ext4 /dev/sdb1 #格式化
mkfs.ext4 /dev/sdc1 #格式化
tune2fs -m 1 /dev/sdb1 #調整系統爲root用戶保留的空間,默認爲5%
tune2fs -m 1 /dev/sdc1
pvcreate /dev/sdb1 /dev/sdc1 #創建pv
vgcreate vr_vg /dev/sdb1 /dev/sdc1 #創建vg
vgdisplay #查看vg所有的PE,默認4M爲一個PE
lvcreate -l 3815442 -n lv_vr vg_vr #將所有的空間創建一個lv#第一次創建pv就這樣結束了,並沒有遇見任何坑;但是第二次擴展的時候卻遇見了一個大坑
#由於業務的變遷,16T的硬盤已經不再夠用,需要將剩下的一塊盤(8T)擴展到lvm中擴展lvm:
首先將硬盤分區格式(參照上面的步驟)
pvcreate /dev/sdd1
vgvgextend vg_vr /dev/sdd1 #擴展vg
lvresize -l +1907720 /dev/mapper/vr_vg-vr_lv #擴展lv
執行lvdisplay可以看見lv已經擴展了,但是使用df -hl查看的時候分區還是這麼大,這時候我執行 resize2fs /dev/mapper/vr_vg-vr_lv 刷新邏輯卷的時候 "坑出現了"
$ resize2fs /dev/mapper/vr_vg-vr_lv
resize2fs: New size too large to be expressed in 32 bits
#報錯了,說32文件系統最大隻支持16T的分區,emmm 出現問題就要解決,沒辦法只能 百度了結果沒有找到換Google試試,最後總算找到了解決辦法
https://askubuntu.com/questions/779754/how-do-i-resize-an-ext4-partition-beyond-the-16tb-limit
#Google找到的文檔,國內也可以訪問
更具文檔的相關描述是因爲 resize2fs 低版本有個bug(其實也不算bug),既然知道了原因那麼接開始幹,將resize2fs升級爲最新版本
umount /dev/mapper/vr_vg-vr_lv #先把掛載去掉
git clone -b v1.44.2 https://git.kernel.org/pub/scm/fs/ext2/e2fsprogs.git e2fsprogs && cd e2fsprogs
#下載resize2fs 版本必須高於1.44
./configure #檢查依賴關係(一般都不會遇見什麼坑)
make #編譯,別執行make install
cd resize/
./resize2fs /dev/mapper/vr_vg-vr_lv #運行這條命令會把32位文件系統轉換爲64爲文件系統(分區小於16T不會裝換),並且會擴大超級塊的數量
#轉換完之後提示需要使用e2fsck -f 檢查分區
e2fsck -f /dev/mapper/vr_vg-vr_lv #擦,又報錯,說e2fsck不支持64位的文件系統, emmmmm, 想了一下可能 e2fsck 和 resize2fs 一樣版本過低不支持64位文件系統,用最新版本試試,e2fsck和resize2fs是由一個包提供的
cd ..
cd e2fsck/
./e2fsck /dev/mapper/vr_vg-vr_lv #果然使用新版本的e2fsck就可以了
./resize/resize2fs /dev/mapper/vr_vg-vr_lv #然後刷新文件系統
df -hl #看見22T分區大小(硬件製造商的鍋)
#到這兒我心想應該沒問題了,結果更大的坑還在後面等着我
執行 lvdisplay 看看沒問題
執行 vgdisplay 看看沒問題
執行 pvdisplay 看看.....坑來了
--- Physical volume ---
PV Name /dev/sdb1
VG Name vr_vg
PV Size 7.28 TiB / not usable 1.30 MiB
Allocatable yes (but full)
PE Size 4.00 MiB
Total PE 1907721
Free PE 0
Allocated PE 1907721
PV UUID PCFu9x-SEGH-W941-0hc9-NHBb-0Nox-QdT79y
--- Physical volume ---
PV Name /dev/sdc1
VG Name vr_vg
PV Size 7.28 TiB / not usable 1.30 MiB
Allocatable yes (but full)
PE Size 4.00 MiB
Total PE 1907721
Free PE 0
Allocated PE 1907721
PV UUID VHZUiE-in7U-RljG-WrvU-rO5u-lLf4-gpuMqE
--- Physical volume ---
PV Name unknown device #未識別的設備????這是什麼情況
VG Name vr_vg
PV Size 7.28 TiB / not usable 4.37 MiB
Allocatable yes (but full)
PE Size 4.00 MiB
Total PE 1907720
Free PE 0
Allocated PE 1907720
PV UUID x38382-rjUg-Fj5B-h5hC-LvrK-tq2h-HcZrkJ
#沒辦法解決了半天沒還是解決不了.....,重啓一下試試,結果一重啓機器起不來了,叫機房的人看看....最後發現是系統檢查 /dev/mapper/vr_vg-vr_lv 報錯了,果然是個坑啊,沒辦法機房的人解決不了,自己去一下機房解決吧!!!
#來到機房第一件事進單用戶模式,結果進不去...原因是因爲fsck檢查/dev/mapper/vr_vg-vr_lv失敗
/dev/mapper/vr_vg-vr_lv /data ext4 defaults 1 2 #/etc/fstab配置
硬盤檢查不過進不了系統,那麼就只能把服務器的系統盤卸下來掛載到其他的服務器上,修改掛載盤的 etc/fstab 把掛載lvm的哪行去掉,然後放回原來的服務器
#做完這些操作之後成功進入系統....但是檢查lvm卻發現/dev/mapper/不存在vr_vg-vr_lv.... 這是什麼情況???
lvdisplay #沒問題一切正常
vgdisplay #沒問題一切正常
pvdisplay #/dev/sdd還是顯示unknown device
那麼先解決unknown device這個問題吧:
首先肯定要卸掉/dev/sdd這個盤:
vgreduce vr_vg --removemissing --force #強行卸掉vr_vg裏面未知的設備
lvdisplay #查看lv大小還是22T,但是現在兩塊盤只有16T,所有要將lvm恢復成兩塊盤時候的大小
恢復lvm:
cd /etc/lvm/ #在lvm目錄下有兩個主要的目錄 archive:保存lvm每次發生改變的源數據 backup:lvm的備份文件
cd archive/ #找到lvm還是兩塊盤的時候的備份
cp vr_vg_00002-1529881488.vg ../backup/ #vgcfgrestore 恢復時只會在這個目錄查找
cd ../backup/
mv vr_vg vr_vg.back1 #備份當前的vr_vg(vg的名字)
mv vr_vg_00002-1529881488.vg vr_vg
vgcfgrestore vr_vg #恢復備份
lvdisplay #查看lv大小已經恢復成16T,現在需要把剩下的那塊盤加上
首先還是將硬盤分區格式,然後使用pvcreate創建pv,使用vgextend擴展vg,使用lvresize擴展lv
擴展完後/dev/mapper/還是不存在vr_vg-vr_lv,那是因爲vg還沒有激活
vgchange -ay vr_vg #激活vg,這個時候再去查看/dev/mapper/發現vr_vg-vr_lv已經有了,但是這時候還不能直接使用,因爲剛加了的盤還沒有執行resize2fs
./e2fsck -f /dev/mapper/vr_vg-vr_lv #先檢查硬盤(因爲lv已經擴展過一次了所以會提示實際的塊小於應有的塊,是否檢查,回覆 y 就行,當檢查到所有的塊之後會詢問你是否將這些加入現有分區,回覆y即可)
./resize/resize2fs /dev/mapper/vr_vg-vr_lv #刷新lv大小
最後刷新完之後,一切正常,由於lvm的線性存儲,數據也沒有丟失
最後:
修改
/etc/fstab配置/dev/mapper/vr_vg-vr_lv /data ext4 defaults 0 0