測試cloudstack搭建，並不一定適用。 供個人 複習使用
首先準備三臺 機器，由於測試使用 就用VMware Workstation是創建的虛擬機。
cloudsatck版本安裝4.12.0 系統模板使用4.11.2 模板。gluster 版本 6.0 ceph 版本luminous
最終結果，測試GlusterFS和ceph的依賴庫版本似乎不一樣。因此並沒有成功安裝ceph，另外ctdb集羣搭建管理節點和計算節點是同一個ctdb集羣，這樣會有虛擬IP的問題。計算節點在訪問管理節點端口時可能使用的是虛擬IP。。但是虛擬IP也不一定指向 管理節點，emmm，沒考慮到。所以，這也是因爲實驗環境受限，不然可以多個計算節點搭建ctdb 集羣實現gluster掛載高可用，也不用管理節點參與了。。。
準備
管理節點2G內存 計算節點4G ceph-admin 1G 管理節點和計算節點記得勾選處理器的虛擬化Intel VT-x、EP 或 AMD-V/RV(V)
電腦內存少，沒辦法。。。就分配的少一點。
| 主機名 | IP | 作用 | 除系統所在硬盤外添加額外硬盤數 |
|---|---|---|---|
| manager | 192.168.199.91 | cloudstack管理節點 | 2塊，一塊用於ceph，一塊用於gluster |
| agent | 192.168.199.92 | cloudstack計算節點 | 3塊，同上。大小設置爲30G。還有一塊作爲nfs主存儲 |
| ceph-admin | 192.168.199.93 | ceph-deploy部署節點和管理節點 | 2塊，同manager。大小設置爲30G |
也就是說，兩個主存儲。一個是nfs共享，一個是ceph集羣存儲池。
設置主機名和 /etc/hosts
主機名設置
vim /etc/hostname
將主機名稱寫入，重啓後生效
編輯/etc/hosts 文件
vim /etc/hosts
192.168.199.91 manager
192.168.199.92 agent
192.168.199.93 ceph-admin
關閉防火牆，設置selinux，如果不想關閉防火牆，可以開放相應文件軟件端口。比如cloudstack，ceph，nfs，mariadb 等。具體端口可以自行查找。
關閉防火牆並禁止開機自啓
systemctl disable firewalld
systemctl stop firewalld
設置selinux爲permissive
vi /etc/selinux/config
編輯文件設置
SELINUX=permissive
保存後重啓纔會生效。想要立即生效
setenforce permissive
安裝epel-release
非常重要
yum -y install epel*
yum makecache
設置橋接文件
cloudstack虛擬實例網絡使用，需要在manager節點和agent節點設置橋接文件。ceph-admin節點也順便設置一下。
manager 節點設置
安裝 網絡工具包
yum -y install net-tools
yum -y install bridge-utils
新增橋接文件
vim /etc/sysconfig/network-scripts/ifcfg-cloudbr0
內容大致如下
TYPE=Bridge
BOOTPROTO=none
DEVICE=cloudbr0
ONBOOT=yes
IPADDR=192.168.199.91
NETMASK=255.255.255.0
GATEWAY=192.168.199.1
STP=yes
設置原網卡文件，修改添加如下內容
不同主機的網卡名可能不一樣
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="none"
ONBOOT="yes"
BRIDGE="cloudbr0"
最後一行指明 網卡橋接設備是 cloudbr0。
重啓network
systemctl restart network
查看 網橋狀態和 路由
brctl show
route -n
agent 節點設置
通manager節點一致，只是將cloudbr0的IPADDR修改成192.168.199.92
vim /etc/sysconfig/network-scripts/ifcfg-cloudbr0
TYPE=Bridge
BOOTPROTO=none
DEVICE=cloudbr0
ONBOOT=yes
IPADDR=192.168.199.92
NETMASK=255.255.255.0
GATEWAY=192.168.199.1
STP=yes
其他的一致。
cdph-admin 節點
只是IP變了，其他的一致
設置時間同步
CentOS7 一般會使用chronyd 進行時間同步。
時間同步有兩個方案，一個是 所有節點 設置同一個 公共ntp服務器 進行時間同步，比如阿里雲。 另一個 就是選擇其中一個節點作爲 時間同步服務器，其它的 的節點設置ntp 服務器爲 該節點。
簡單起見 設置一個 公共 ntp 服務器 阿里雲
ntp.aliyun.com
ntp1.aliyun.com
方法很簡單，安裝chronyd
yum -y chrony
編輯配置文件
vim /etc/chrony.conf
註釋掉原來的時間同步服務器
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
增加阿里的
server ntp.aliyun.com iburst
server ntp1.aliyun.com iburst
server ntp2.aliyun.com iburst
server ntp3.aliyun.com iburst
重啓chronyd服務
systemctl restart chronyd
查看時間同步
chronyc sources
查看當前時間
timedatectl
部署gluster
gluster集羣創建的卷 使用gluster方式掛載到本地，然後設置成共享點，使用內核態nfs方式 實現掛載。
或者安裝NFS-Ganesha 直接用戶態方式實現nfs掛載。
使用第二種方法。可參考
https://blog.csdn.net/dandanfengyun/article/details/105371521
安裝gluster軟件
三個節點都執行
搜索gluster的軟件源
yum search centos-release-gluster
安裝相應gluster版本的軟件源
由於cloudstack安裝依賴gluster,且默認版本是6.0，爲了避免版本衝突 所以 安裝6。。。好像也不能選擇41了，安裝centos-release-gluste41後再安裝gluster軟件時會報錯。。。好坑啊
yum -y install centos-release-gluster6
安裝gluster 軟件包
yum -y install glusterfs glusterfs-server glusterfs-rdma glusterfs-geo-replication
安裝完成設置開機自啓並啓動glusterd
systemctl enable glusterd
systemctl start glusterd
安裝完成，準備部署gluster集羣。
查看當前 硬盤。三個節點的 /dev/sdb 硬盤作爲gluster的數據盤。
格式化硬盤
mkfs.ext4 /dev/sdb
創建一個目錄 作爲該硬盤掛載點。。。
mkdir /gluster-data
設置開機自動掛載 並掛載
echo "/dev/sdb /gluster-data ext4 defaults 0 0" >> /etc/fstab
mount -a
下面操作在某一個節點執行。如ceph-admin
添加信任節點到集羣
gluster peer probe manager
gluster peer probe agent
添加完成查看集羣
gluster peer status
創建一個3備份的複製卷 卷名vol-gluster
gluster volume create vol-gluster replica 3 manager:/gluster-data/brick agent:/gluster-data/brick ceph-admin:/gluster-data/brick
開啓卷
gluster volume start vol-gluster
查看卷狀態
gluster volume info
將gluster卷掛載到三個節點
儘管，這樣儘管顯得很多此一舉，本來就是三個硬盤，已經掛載到本地了。但是gluster這個卷掛載到本地，能保證三個節點數據是一致的。。。
三個節點都要執行
創建掛載點
mkdir /gluster-export
依然設置開機自動掛載
echo "ceph-admin:/vol-gluster /gluster-export glusterfs defaults,_netdev 0 0" >> /etc/fstab
mount -a
gluster暫時設置就到這裏，ctdb 再設置高可用
部署 ceph 無法部署
https://blog.csdn.net/dandanfengyun/article/details/106235667
使用ceph-deploy工具部署ceph 集羣。ceph-deploy 工具安裝在ceph-admin節點。ceph 版本是luminous，更高版本似乎不支持使用ceph-deploy工具部署了。
由於安裝glusterfs原因。。。似乎依賴庫版本衝突，安裝glusterfs後無法再安裝ceph 軟件了。。。同樣先安裝ceph後就無法安裝gluster了。。。
可能是故意的。。。兩個軟件不能共存。。。也有可能是要安裝的ceph 版本有點低的原因？不過luminous 不算低了吧。
由於gluster安裝後依賴庫版本和ceph衝突，因此無法安裝ceph。
但是已經爲ceph部署準備了硬盤。。別浪費了，再使用gluster創建一個gluster卷當作 cloudstack主存儲。
cloudstack的主存儲和二級存儲。主存儲，一般用作虛擬機分配磁盤。 二級存儲，一般存放，ISO，模板，快照等。主存儲可以使用 gluster ceph nfs 本地存儲等多種協議， 二級存儲必須是網絡存儲，不支持本地存儲，而且目前好像也不支持gluster。
使用gluster再創建一個虛擬卷當作 cloudstack的主存儲。由於cloudstack主存儲支持gluster，也就不用像上一步那樣再把gluster卷掛載到本地，然後再用nfs方式共享出去當作二級存儲了。。。
三個節點都執行
創建 /dev/sdc 硬盤掛載點。。。
mkdir /gluster-data2
格式化 硬盤
mkfs.ext4 /dev/sdc
設置開機自動掛載 並掛載 該硬盤
echo "/dev/sdc /gluster-data2 ext4 defaults 0 0" >> /etc/fstab
mount -a
現在 每個節點 使用df -h 查看大概是這樣的
兩個已經掛載的硬盤，掛載點是 /gluster-data /gluster-data2。然後 /gluster-export 是通過glusterfs方式掛載到本地的 glusterfs卷的掛載點。
新增gluster 卷 卷名 vol-primary
新增卷的操作只用在一個節點操作即可，開啓卷也是。
gluster volume create vol-primary replica 3 manager:/gluster-data2/brick agent:/gluster-data2/brick ceph-admin:/gluster-data2/brick
開啓卷
gluster volume start vol-primary
查看卷狀態
gluster volume status
查看卷信息
gluster volume info
現在有兩個gluster卷，卷名分別是vol-gluster vol-primary。準備將vol-gluster當作cloudstack的二級存儲，vol-primary當作cloudstack主存儲。vol-gluster卷，還不能完全當作二級存儲，還要在其中寫入一些配置文件。
安裝 使用ctdb
安裝
https://blog.csdn.net/dandanfengyun/article/details/105371521
CentOS7 直接安裝ctdb 的話 版本是4.9，而且一啓動該服務就報錯。。。不知原因，因此使用rpm安裝4.2.4 版本。。。會附帶samba的安裝，沒關係，samba本來也挺有用的。
ctdbrpm包下載地址 這是我從官網下載的。
https://download.csdn.net/download/dandanfengyun/12317533
官網下載地址（不是ctdb官網，是gluster支持ctdb的rpm包）
https://download.gluster.org/pub/gluster/glusterfs/samba/CentOS/epel-7/x86_64/
下載完成，把所有rpm安裝包放在一起全部進行安裝，把說明刪了。。。
安裝
rpm -ivh * --nodeps --force
–nodeps 表示忽略依賴， --force 表示強制安裝。
然後可能還有兩個依賴包沒安裝，手動yum安裝即可
yum -y install cups-libs libarchive
測試使用。
使用就是啓動ctdb 服務，並用其來管理nfs。關於ctdb作用的解釋自行搜索吧。。個人並不是很瞭解，但這不影響我使用 CTDB提供高可用特性，例如節點監控、節點切換、IP切換。
編輯配置文件。
創建配置文件目錄
mkdir /gluster-export/lock
創建ctdb配置文件
三個節點配置文件要一致
（4.2.4的配置文件是/etc/sysconfig/ctdb之後版本的可能是 /etc/ctdb/ctdbd.conf）這裏，創建的配置文件待會要做軟鏈接鏈接到默認位置
vim /gluster-export/lock/ctdb
CTDB_RECOVERY_LOCK=/gluster-export/lock/lockfile
CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses
只用在一個節點操作就行，因爲gluster-export是掛載的gluster卷，三個節點內容一致。
創建nodes 文件，表示ctdb管理的節點
三個節點nodes文件要一致
vim /gluster-export/lock/nodes
據說末尾要留一空行，否則最後一個節點可能失效。
192.168.199.91
192.168.199.92
192.168.199.93
創建public_addresses 文件
三個節點的public_addresses 文件不需要完全一致，可以有獨特的設置。這裏爲了方便就設置成一樣的了
ctdb 管理的虛擬IP，可以訪問該IP實現訪問ctdb管理的實際節點。當一個節點失效時，虛擬IP會指向有效的節點IP。
vim /gluster-export/lock/public_addresses
cloudbr0是網橋名稱，如果沒有設置網橋，那就選擇網卡名稱 。但是三個節點最好一致，如果有的節點有網橋，有的沒有，很容易出錯。。。192.168.199.90 就是虛擬的IP，並沒有真是的節點佔用改IP，如果有，那可能引發意料之外的結果。。。
192.168.199.90/24 cloudbr0
配置文件建立了，但是沒有放在相應位置，ctdb啓動時是不會讀取這些配置文件的。。。
下面的操作三個節點都要執行。
備份源ctdb 配置文件
mv /etc/sysconfig/ctdb /etc/sysconfig/ctdb.bak
nodes 和public_addresses默認都沒有創建，也就不用備份了。
創建軟鏈接指向配置文件
ln -s /gluster-export/lock/ctdb /etc/sysconfig/ctdb
ln -s /gluster-export/lock/nodes /etc/ctdb/nodes
ln -s /gluster-export/lock/public_addresses /etc/ctdb/public_addresses
這樣三個節點的配置文件就一致了，因爲 /gluster-export是gluster卷的掛載點。文件都是一致的。
啓動ctdb
systemctl enable ctdb
systemctl start ctdb
啓動時可能有網絡連接問題。。。重啓幾次就好了。不明原因
啓動完成查看狀態
ctdb status
查看虛擬IP
ctdb ip
查看 虛擬IP是否可用
ping 192.168.199.90
測試ctdb管理nfs
上一步儘管安裝了ctdb 成功啓動 但是沒有看出什麼作用。。。
三個節點都執行
安裝nfs-utils
yum -y install nfs-utils
編輯配置文件
vim /gluster-export/lock/nfs
NFS_TICKLE_SHARED_DIRECTORY=/gluster-export/lock/nfs-tickles
NFS_HOSTNAME=nfs-server
STATD_PORT=874
STATD_OUTGOING_PORT=876
MOUNTD_PORT=892
RQUOTAD_PORT=875
LOCKD_UDPPORT=872
LOCKD_TCPPORT=872
STATD_SHARED_DIRECTORY=/gluster-export/lock/nfs-state
STATD_HOSTNAME="$NFS_HOSTNAME -H /etc/ctdb/statd-callout"
RPCNFSDARGS="-N 4"
備份原配置文件
mv /etc/sysconfig/nfs /etc/sysconfig/nfs.bak
創建軟鏈接
ln -s /gluster-export/lock/nfs /etc/sysconfig/nfs
設置共享點配置文件。
創建nfs共享目錄
mkdir /gluster-export/secondary
編輯共享目錄的設置
vim /gluster-export/lock/exports
/gluster-export/secondary *(rw,async,no_root_squash,no_subtree_check)
下面的三個節點都要執行
備份原配置文件 關於這個共享點設置文件。CentOS系統自帶nfs共享，只是沒有nfs管理工具，查看比較麻煩。這個文件是本來就有的，不是安裝完nfs-utils生成的。
mv /etc/exports /etc/exports.bak
創建軟鏈接
ln -s /gluster-export/lock/exports /etc/exports
編輯ctdb配置文件，使其管理nfs，然後三個節點重啓nfs服務
vim /gluster-export/lock/ctdb
添加一下兩行
CTDB_NFS_SKIP_SHARE_CHECK=yes
CTDB_MANAGES_NFS=yes
重啓ctdb服務
systemctl restart ctdb
待全部節點狀態爲OK時開始測試。
查看虛擬IP共享點
showmount -e 192.168.199.90
測試nfs掛載虛擬IP共享點時一直掛載失敗，查看nfs狀態，發現要設置fsid
編輯exports 配置文件 設置fsid=0 即可
vim /gluster-export/lock/exports
/gluster-export/secondary *(rw,async,no_root_squash,no_subtree_check,fsid=0)
設置完後三個節點重啓ctdb。
重啓完畢 測試掛載
mkdir /mnt/test-mnt
mount -t nfs 192.168.199.90:/gluster-export/secondary /mnt/test-mnt/
可以看到可以使用虛擬IP使用nfs方式掛載。
測試完畢，取消掛載。刪除臨時掛載點。
umount -l /mnt/test-mnt/
rm -rf /mnt/test-mnt/
安裝cloudstack必備軟件
下面開始安裝。cloudstack的必備軟件。這裏基本上就在manager節點和agent節點安裝了。
manager節點安裝數據庫 mariadb-server
CentOS7不能直接安裝mysql。。。不過mariadb效果是一樣的。
yum -y install mariadb-server mariadb
設置開機啓動
systemctl enable mariadb
編輯配置文件 /etc/my.ini
vim /etc/my.cnf
在[mysqld] 模塊下加入
innodb_rollback_on_timeout=1
innodb_lock_wait_timeout=600
max_connections=350
log-bin=mysql-bin
binlog-format = 'ROW'
據說 max_connections 應該等於管理節點個數 * 350
啓動mariadb 服務
systemctl start mariadb
進行安全設置，按提示操作就好
mysql_secure_installation
注 這一步表示是否設置不允許遠程連接，一般選n，表示允許遠程連接。其他的默認Y就好，提示輸入密碼是就輸入想要設置的密碼
Disallow root login remotely? [Y/n]
設置root用戶啓用遠程連接。123456 就是我設置的密碼，改成自己的就可以，第一個123456 是登錄進MySQL的密碼，必須是剛纔設置的，第二個123456是遠程連接時使用密碼，可以更改成自己想要的。
mysql -uroot -p123456 -e "GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123456'";
agent節點安裝mariadb 測試遠程連接。
yum -y install mariadb
安裝完成測試一下
mysql -h manager -u root -p
manager節點和agent節點設置cloudstack安裝源。這裏設置的是4.12版本。
vi /etc/yum.repos.d/cloudstack.repo
[cloudstack]
name=cloudstack
baseurl=http://cloudstack.apt-get.eu/centos7/4.11/
enabled=1
gpgcheck=0
安裝cloudstack
直接安裝的話就是
管理節點執行
yum -y install cloudstack-management
計算節點執行
yum -y install cloudstack-agent
不過安裝速度有點慢，主要是下載比較慢。因此一般會下載到本地安裝。
rpm下載地址
http://cloudstack.apt-get.eu/centos7/4.12/
系統模板下載地址
http://cloudstack.apt-get.eu/systemvm/4.11/systemvmtemplate-4.11.2-kvm.qcow2.bz2
manager節點安裝與基本設置。
rpm包安裝
yum -y install cloudstack-common-4.12.0.0-1.el7.centos.x86_64.rpm cloudstack-management-4.12.0.0-1.el7.centos.x86_64.rpm
數據庫初始化
cloudstack-setup-databases cloud:123456@localhost --deploy-as=root:123456
啓動Management服務
cloudstack-setup-management
還需要安裝一個KVM模板。模板我也下載到本地了。這一步耗費時間不短
/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt \
-m /gluster-export/secondary \
-f /root/systemvmtemplate-4.11.2-kvm.qcow2.bz2 \
-h kvm –F
如果通過網絡安裝，命令是
/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt \
-m /gluster-/secondary \
-u http://cloudstack.apt-get.eu/systemvm/4.11/systemvmtemplate-4.11.2-kvm.qcow2.bz2 \
-h kvm -F
大致，如此，一些全局設置在WEBUI基礎設置時進行設置。
agent節點安裝與基本設置
yum -y install cloudstack-common-4.12.0.0-1.el7.centos.x86_64.rpm cloudstack-agent-4.12.0.0-1.el7.centos.x86_64.rpm
.虛擬化配置
CloudStack通過libverd來管理所有的kvm
有兩部分需要進行配置, libvirt和QEMU
1） 編輯QEMU VNC配置文件/etc/libvirt/qemu.conf
vim /etc/libvirt/qemu.conf
去掉註釋
vnc_listen="0.0.0.0"
2）CloudStack使用libvirt管理虛擬機
配置/etc/libvirt/libvirtd.conf文件
vim /etc/libvirt/libvirtd.conf
listen_tls = 0
listen_tcp = 1
tcp_port = "16059"
auth_tcp = "none"
mdns_adv = 0
配置/etc/sysconfig/libvirtd文件
vim /etc/sysconfig/libvirtd
LIBVIRTD_ARGS="--listen"
當管理節點添加此主機時，這個tcp_port = “16059"會自動變成16509，還有 LIBVIRTD_ARGS=”-1"，這些都是cloudstack改變的。無須再手動改它！！
3）重啓libvirtd 並設置爲開機自啓
systemctl restart libvirtd
systemctl enable libvirtd
設置該宿主機上運行虛擬機CPU模型。三種模式。這裏選擇的host-model
vim /etc/cloudstack/agent/agent.properties
host-model 表示從可用的CPU模型中選擇一個與宿主機最接近的。
guest.cpu.mode=host-model
CloudStack安裝完畢。
這時候想起來，agent，還有一塊空閒硬盤。。。準備當作nfs掛載主存儲。
agent節點操作
格式化 硬盤
mkfs.ext4 /dev/sdd
創建掛載點
mkdir -p /export/primary
掛載
echo "/dev/sdd /export/primary ext4 defaults 0 0" >> /etc/fstab
mount -a
設置成共享目錄。由於 /etc/exports 在上面變成了軟連接。但是，現在要改變agent的共享設置，但是又不想設置軟連接源文件，因爲軟連接源文件也會影響到manager 和ceph-admin 節點。。。而且這個 、exports共享設置也不是必須三個節點保持一致，因此。agent刪除軟鏈接。。。修改成文件配置 共享
rm -f /etc/exports
將原來備份修改過來
mv /etc/exports.bak /etc/exports
設置配置文件。
/export/primary *(rw,async,no_root_squash,no_subtree_check)
/gluster-export/secondary *(rw,async,no_root_squash,no_subtree_check,fsid=0)
設置完成 導入設置
exportfs -a
其它節點測試 agent節點的共享
當然，這樣做，有個小問題。虛擬IP 的作用是指向一個有效IP，當這個有效的IP意外失效後，虛擬IP會指向其他的IP。如果這時候虛擬IP恰好指向agent節點。。。那麼顯示的共享目錄就會多一個 primary
現在agent節點重啓 ctdb。在ctdb集羣開來 agent節點失效，因此虛擬IP指向轉移。。。當然，現在判斷不出來 是在manager或ceph-admin節點。
不過這問題不大，本來我們也不會去使用虛擬IP掛載 /export/primary。因爲我們自己知道它是agent專有的。使用虛擬IP掛載 /gluster-export/secondary不會有任何問題，三個節點都提供了共享點。
WEB UI 基礎設置
日誌查看
manager節點
tail -f /var/log/cloudstack/management/management-server.log
agent 節點
tail -f /var/log/cloudstack/agent/agent.log
全局設置
使用瀏覽器訪問
http://manageriP:8080/client/
默認的賬號密碼是
admin
password
選擇我以前使用過cloudstack 跳過此指南。進行一些全局配置。
需要設置的大致有
CPU超配倍數 一般設置3-4倍。。。
cpu.overprovisioning.factor
內存超配倍數，如果準備運行虛擬機大多是Linux無界面系統，可以設置2倍，如果運行Windows等有圖形界面的。最好選擇不修改，因爲經過個人測試，圖形界面虛擬機相應的qemu進程真的會佔用宿主機分配的那麼多內存。當然，這有可能是因爲我使用kvm 作爲虛擬機管理程序的原因，Xenserver或者VMware可能會好一點。
mem.overprovisioning.factor
允許下載模板或ISO的網段。。。可以設置成0.0.0.0/0表示允許所有網段，或者設置成 自己網絡所在網段如 192.168.199.0/24
secstorage.allowed.internal.sites
設置完畢重啓 cloudstack-management
在UI界面修改超配倍數可以生效的只有剛開始設置時，當添加一個集羣后，UI界面設置超配是不起作用的，需要在數據庫中修改。
mysql -u root -p
use cloud;
select * from cluster_details;
按照查找出來的數據修改。。。修改前停掉運行在改集羣上的虛擬機
update cluster_details set value=2.0 where id=？;
update cluster_details set value=4.0 where id=？;
manager節點執行
systemctl restart cloudstack-management
添加資源域 主機
再次訪問剛纔網站。。。登錄後選擇之前使用過 cloudstack
添加資源域
中間步驟略
添加主存儲。選用gluster 協議。。。卷vol-primary 服務器選擇ctdb虛擬出的IP
添加二級存儲 使用nfs 協議，虛擬IP vol-gluster卷掛載點的 secondary目錄
/gluster-export/secondary
可能主存儲添加失敗。。。這個據說是bug，可以等一會在添加，還好我們還有一個 用於主存儲的nfs
點擊Fix errors
協議選擇 nfs 服務器 192.168.199.91 路徑/export/primary
不要帶空格
等待系統VM成功啓動。查看控制版。
主存儲顯示 58.81G是存儲的兩倍，因爲主存儲一般都是超配2倍，主存儲顯示分配給虛擬機的硬盤空間，存儲顯示實際使用的硬盤空間。
再次嘗試添加主存儲 存儲標籤不用設置的。。。
添加gluster協議的主存儲 提供程序記得選DefaultPrimary
服務器是ctdb虛擬出來的IP 這一次添加成功
可以在控制板上看到 主存儲增加了
至於添加ISO虛擬機的操作，不再寫了。。。這文章算是對之前學習總結。不過也漏了不少。。。ceph 未能使用。
下一步計劃 就是 學習cloudstackAPI調用。