不囉嗦了，直接開始.
目的：
瞭解/掌握 HP Storageworks MSA2312 的配置方法與基礎應用
資源：
1) HP Storageworks MSA2312 主/從櫃各1臺(主櫃帶2塊控制器, 每個控制器帶2個光纖口)
2) 1 臺帶光纖口的 Windows Server 2008 主機
3) 文檔 HP StorageWorks 2012fc Modular Smart Array user guide
接口：
1) RS-232串口，用於初次安裝/配置
2) RJ45接口，用於 Telnet 遠程管理
3) 每個模塊有2個光纖口, 用於連接光纖交換機或者直連AP服務器
4) 其它接口(Expansion port/Service port)暫未用到
使用 RS232連接主機與存儲櫃, 打開超級終端 (默認登陸帳號 manage 密碼 !manage)
首先，配置管理 IP 地址
>set network-parameters dhcp 從 DHCP獲取 IP 地址
>set network-parameters ip xx.xx netmask xx.xx gateway xx.xx controller a 給指定控制器配置指定IP地址
如果有兩個控制器, 分別為 A B
HP存儲設備提供了界面友好的 WEB 管理功能, 在瀏覽器輸入上一步配置好的IP地址
兩個控制器都可以進入WEB管控頁面，來配置存儲
以下是登陸後的畫面
第一次使用的時候, 在IE瀏覽器輸入完用戶名和密碼以後, 一直卡在一個加載畫面, 弄了很久沒有解決,
最後是在HP工程師電話指導下弄好的, 以下是 HP工程師的排查步驟:
1) 檢查所有指示燈是否正常
2) 使用 telnet 登陸存儲控制器(不限AB), 執行 #restart mc both (重啟控制器)
直接提示控制器重啟成功, 排除了控制器的問題
3) 重試了 IE 瀏覽器和谷歌瀏覽器很多次, 還是不行, 但是HP工程師堅持認為是瀏覽器的原因
於是再安裝火狐後問題消失, 此時再使用 IE 和谷歌瀏覽器發現問題消失了 (這是一個有點奇怪的問題)
在演示WEB控制檯功能前先說明,先介紹幾個部分
一、MSA2312的開關機步驟(來源於HP文檔的英文大致翻譯)
>正常情況下不需要關閉存儲的電源(除非要更換/存儲的電源模塊或開箱保養)
>開機時,保持電源開關是關閉狀態, 先接通電源排線, 再逐個打開開關
>關機時,建議先執行 #shutdown a/b/both 關閉控制器,再關電源開關,最後移出電源線
>如果有主盤櫃和擴展櫃, 先關主盤櫃,再關擴展櫃，關機則反之
另外,個人的理解: 如果連接了AP服務器時,開機時先開存儲,再開AP服務器,避免Linux主機進入系統後不能直接識別
關機時先關AP服務器,再關存儲, 避免存儲在使用過程中被關閉
二、MSA2312的基礎命令 (telnet模式下)
1) # help <命令> 可以獲得該 命令的幫助信息
2) # set network-parameters 配置控制器 IP/netmask/gateway
3) # show network-parameters 顯示控制器 IP 配置信息
4) # restart mc a/b/both 重啟控制器
5) # shutdown a/b/both 關閉控制器 (用於斷電前)
6) # rescan 重新掃描硬件 (志祥測試發現, 當使用 # shutdown 命令關閉控制器後, rescan 命令可以開啟控制器)
7) # show vd 顯示當然陣列
8) # trust enable / # trust vdisk vd0x 用於處理陣列成員離線
三、存儲擴展
1) 1個主櫃 + 1個從櫃 (官方文檔原圖)
2)1個主櫃 + 3 個擴展櫃(容錯布線)
3)1個主櫃 + 3 個擴展櫃(非容錯布線)
目前手頭只有 1個主櫃 + 1 個從櫃的設備, 暫時沒辦法模擬測試容錯和非容錯布線的區別, 本文按照第1種方式連線
接下來開始 WEB 配置
1) 建立 vDisk (2個櫃各 12 塊 147G 硬盤, 主櫃有一塊 300GB 硬盤, 暫時當147G使用)
>在操作前按照 HP 說明書檢查所有指示燈的狀態沒有異常(前後面板)
>磁盤劃分陣列計劃(如下圖)
虛擬磁盤1: 主/從盤櫃備援 Raid 10, 共使用 18塊硬盤, 其中 16塊 Raid10, 2塊備用硬盤 (用於存放重要數據)
虛擬磁盤2: 主/從盤櫃無備援機制, 6塊 硬盤 Raid5 無備用硬盤 (用於存放相對不重要的數據)
右鍵 Vdisks, 依次選擇 Provisioning --> Create Vdisk
選擇陣列 RAID-10, 這個版本最多能分8組
每一組RAID10的2塊硬盤分佈在兩個不同的盤櫃,達到盤櫃備援的作用, 點擊 建立vDisk
提示建立虛擬磁盤 vd01 成功
查看vd01 狀態
把剩下的6塊硬盤建立虛擬盤 vd02, RAID5,兩個盤櫃不能互相備援, 且未分配備用盤, 點擊建立vDisk
提示建立虛擬磁盤 vd02 成功
查看vd02 狀態
到此，虛擬盤 vd01 、 vd02 建立完成, 再分別建立卷
右鍵 vd01右鍵 Provisioning --> Create Volume
映射光纖端口
點擊 Hosts 查看主機清單, 在右邊選擇想要掛載的虛擬磁盤, 鉤選 Map 選項, 選擇想要映射的光纖端口, 點擊應用按鈕生效
映射有2個作用:
1) 設置允許訪問的主機 (Hosts名單)
2) 綁定光纖端口 (設置雙線路冗餘架構時以便區分)
3) 如果有多個陣列磁碟要映射同一臺主機，需要修改 LUN 的值為不同值.
按同樣的方法建立卷 vd02_001
到此，存儲磁盤劃分已經完成, 下面開始驗證識別:
> Windows 識別
分別將存儲控制器 A 的第1個光纖口 和 Windows 2008 主機的光纖線接到 HP Storageworks SAN Switch,(也可以直連)
(Windows 2008主機安裝 HP PX2510401 光纖卡, 在網上, 只找到了這塊光纖卡的 Server 版操作系統的驅動)
進入到 Windows 磁盤管理頁面, 刷新後可以看到一塊新的磁碟1
目前是離線狀態, 右鍵, 選擇連線, 再進行初步化操作, 即可當成一塊新的硬盤使用
>VMware ESXi 識別
分別將存儲光纖與VMware ESXi主機的光纖接到HP交換機 (也可直連), 並在存儲WEB管理界面映射到 Vmware ESXi Hosts
點擊VMware ESXi 主機，選擇 組態頁面, 點擊 <新增儲存空間...>
點擊下一步
點擊下一步
點擊下一步
點擊下一步
輸入名稱，點擊下一步
點擊下一步
點擊完成
右側第3項就是剛才添加的存儲
到此, 新建虛擬機時，就可以使用存儲了
>Linux 識別
將存儲和Linux主機的光纖接入到SAN 交換機.
1)查詢當前OS下能識別的磁盤設備
其中的 /dev/sda 為光纖掛載的 SAN 存儲
2)啟動多路徑管理軟件
# modprobe dm-multipath //加載內核模塊
# /etc/init.d/multipathd start //啟動 multipathd deamon服務
# multipath -v3 //裝備多路徑設備
3)磁盤分區
# fdisk /dev/sda //使用 fdisk --help 可以獲得fdisk命令詳解
分區完成後, 使用 #fdisk -l 查看到 /dev/sda1 分區表4)建立邏輯磁盤
# pvcreate /dev/sda1 //建立物理卷
# vgcreate vgtest1 /dev/sda1 //建立卷組
# lvcreate -L 500G -n lvtest1 vgtest1 //建立邏輯磁盤
5)格式化邏輯磁盤並掛載
# mkfs.ext3 -F /dev/mapper/vgtest1-lvtest1 //優先使用 mkfs.ext4
# mkdir /mnt/vdisk 1
# mount /dev/vgtest1-lvtest1 /mnt/vdisk1
掛載完成後，就可以使用 /mnt/vdisk1 這個捲了
存儲陣列容災測試
本文中的 磁盤 vd01分別使用主叢盤櫃的01-09硬盤(Raid10), 磁盤 vd02 分別使用主叢盤櫃的第10-12硬盤(Raid5),
當關閉從盤櫃後, vd01 仍可以繼續使用，但vd02 不能繼續使用(一半的硬盤不夠組成Raid5的陣列)
當重新開啟主叢盤櫃後，問題來了：擴展櫃的01-09硬盤出現黃燈，WEB控制檯顯示RAID10陣列性能下降，沒有恢復正常狀態。
電話到HP工程師的解答：
1) 不建議做主盤櫃和擴展櫃之間的冗餘，如果一定要做盤櫃間的冗餘，推薦使用兩個主盤櫃
2) 當出現這種情況有以下解決方法:
(1) 執行 # rescan 命令，看硬盤能否會被拉到陣列中
執行 # trust enable 和 # trust vdisk vd01 強行將脫離陣列的硬盤拉到陣列中
此命令執行後報錯提示 vdisk 沒有在 offline 的狀態, 不能執行
(2) 將亮黃燈的硬盤數據清除(使之與新硬盤一樣)
右鍵MSA2312fc , 選擇 Tools --> Clear Disk Metadata 功能模塊(清除9塊146G硬盤數據, 需要約十分鍾時間)
再選擇 vd01 , 選擇 Configuration --> Manage Dedicated Spares 界面，將清空的磁盤逐個添加成備用磁盤，
即可恢復陣列, 恢復陣列的時間比較長(1塊硬盤需要1小時左右), 且恢復後的磁盤陣列對應順序會被打亂.
(3) 備份數據後, 刪除卷/磁盤/陣列, 重新建立新的陣列/磁盤/卷，還原數據
到此，存儲的基礎應用演示完成.
本文技術顧問：王飛、葉正勇