目錄
1 項目背景
經過近50多年的持續穩定發展,XXXX樹立了中國家電企業由小到大、由弱到強、並迅速走向世界的傑出典範。如今的XXXX,已經不僅僅是中國的彩電大王,而且還成爲了在海內外享有盛譽的特大型、多元化、國際化企業集團。企業形成了軍用產品、數字電視、數字平面顯示、IT、健康空調、數字視聽、數字網絡、模具、數字器件、環保電源、技術裝備、電子工程、化工材料等十三大產業羣。
隨着全球互聯網浪潮和數字家電技術的迅猛推進,XXXX秉承“科技領先,速度取勝”的經營理念,利用以市場需求爲特徵的拉動力和技術進步爲特徵的推動力,優化資源配置,通過技術創新、系統整合數字技術、信息技術、網絡技術和平板顯示技術,改造和提升傳統產業,最大限度地滿足人們不斷增長的物質和文化需要。
爲了滿足未來業務發展的需要,有效地解決數據安全、集中管控、降低運維成本、快速部署、跨平臺訪問、節能環保等問題,XXXX一直在關注通過虛擬化、分佈式及超融合等互聯網相關技術來解決現有數據中心的各種挑戰,隨着虛擬化及雲計算的日益成熟,計劃將其數據中心新業務系統運行在的基於互聯網基因的超融合基礎架構平臺上。
1.1 需求調研
1.1.1 數據中心調研
XXXX現有數據中心存在的挑戰包括:
• 服務器數量衆多,管理變得越來越複雜;
• 新業務系統上線週期長,部署慢;
• SAN/NAS存儲擴展性差,無法支撐新業務的性能需求;
• 新業務走向互聯網化,傳統架構無法實現線性擴展能力;
• 應用系統缺乏高可用性保護;
• 數據中心空間資源有限等。
1.1.2 應用調研
目前,XXXX緊跟互聯網+戰略,重點規劃以軟件爲中心的業務較多,多數都是面向互聯網以及物聯網業務,比如:用戶中心、支付平臺、設備系統、微信電視、O2O電商平臺、企業移動辦公軟件平臺及大數據平臺等。
業務系統 | CPU (core) | 內存 (GB) | 磁盤 (GB) | 操作系統 | 軟件 | 節點數 |
支付平臺 | ||||||
O2O電子商務 | ||||||
企業移動辦公 |
1.2 超融合與傳統架構選擇
超融合基礎架構(Hyper-Converged Infrastructure,或簡稱“HCI”)是指在同一套單元設備中不僅僅具備計算、網絡、存儲和服務器虛擬化等資源和技術,而且還包括備份軟件、快照技術、重複數據刪除、在線數據壓縮等元素,而多套單元設備可以通過網絡聚合起來,實現模塊化的無縫橫向擴展(scale-out),形成統一的資源池。HCI是實現“軟件定義數據中心”的終極技術途徑。HCI類似Google、Facebook等互聯網數據中心的大規模基礎架構模式,可以爲數據中心帶來最優的效率、靈活性、規模、成本和數據保護。使用計算存儲超融合的一體化平臺,替代了傳統的服務器加集中存儲的架構,使得整個架構更清晰簡單。
圖1.1 超融合架構示意圖
下表列舉了使用超融合架構(計算+存儲)和傳統數據中心三層架構(服務器+光纖交換機+存儲)的對比:
超融合架構 | 傳統數據中心基礎架構 | |
性能 | 儘可能提供本地吞吐,並使用SSD保證應用IO需求。不存在性能瓶頸 | 隨着訪問集中存儲的服務器越來越多,性能瓶頸將日益凸顯 |
橫向擴展 | 可以簡單的在集羣中增加節點以擴展集羣規模和性能 | 由於架構限制,無法實現橫向擴展 |
高可用性 | 可以通過三副本的方式容忍最多兩個節點同時故障,並且硬件故障時數據重建速度快,性能幾乎不受影響 | 通過raid技術實現高可用性,但面對硬件故障時,性能下降嚴重。 |
整合比 | 虛擬機密度高,是傳統2倍以上 | 虛擬機密度低 |
安裝配置 | 開箱即用的部署方式,只需30分鐘即可完成安裝配置 | 需要準備大量安裝實施前的信息收集和整理工作,並且由專人進行安裝部署,最少需要2天時間 |
管理維護 | 統一WEB界面管理,維護方便 無需配置LUN、卷、Raid組 | 需要專門存儲管理軟件,配置複雜。需要廠商支持。 |
空間佔用 | 使用超融合架構:2臺4U高,總共包含8個節點(包含服務器和存儲) 總共佔用空間4U | 使用傳統架構:8臺2路服務器至少佔用8U,存儲至少需要3U 總共佔用空間11U |
耗電 | 使用超融合架構:2臺8節點,共耗電 2000W 運行三年電費支出約:5.5萬元 | 使用傳統架構:8臺服務器平均每臺服務器耗電600W計算,存儲耗電1500w,總共耗電6300W 運行三年電費支出約爲:16.8萬元 |
2 超融合方案設計
新一代數據中心建設包含衆多信息化應用的實施,與此相對應,機房服務器和存儲設備也必將大量使用,並且隨着後期應用擴充和服務擴容,服務器和存儲設備的投入必然越來越龐大。一方面,管理硬件基礎設施的壓力和成本會不斷增大;另一方面,由於應用的多樣性,服務器和存儲難於有效整合,服務器的資源使用都遠低於其實際的處理能力,計算能力和存儲容量難以充分利用。
實施虛擬化/雲計算數據中心,可以有效整合服務器及存儲資源,形成計算資源池,根據新一代數據中心各項應用的實際需要動態分配計算資源,最大效率的利用現有服務器及存儲設備,並對數據中心硬件設備進行有效管理和監控。
2.1 設計原則
在方案設計中我們將遵循以下總體原則:
以業務需求爲導向
技術架構最終是爲業務服務的,因此技術架構的設計一定要以業務的需求爲導向,充分考慮非功能需求,例如系統的重要程度、安全要求、業務連續性等。
遵循互聯網標準
新業務系統都是面向互聯網和物聯網業務,因此架構體系要遵循互聯網數據中心設計和建設標準,吸收互聯網架構的優勢。
提高資源利用率
現已經部署了大量的服務器,資源使用率低是較突出的一個問題,因此在項目中,提高資源利用率成爲一個重要的任務。
動態擴展性
在IT發展趨勢中,動態基礎架構已經成爲IT基礎架構的發展方向。使IT基礎架構成爲一個動態、靈活、具有彈性的IT基礎架構,同時在IT實時地運營過程可進行靈活的資源動態調整。資源擴展要體現在計算資源和存儲資源的同時擴展。
分佈式一切
應用系統的高可用性是保障服務等級的重要因素,在架構設計中應該以軟件定義爲主,藉助軟件的分佈式架構滿足高可用性要求,實現系統架構和平臺架構的無單點故障、無單點瓶頸問題,保障新一代的業務系統健壯性。
安全性
在系統設計中,安全性是一個非常重要的問題。在架構中需要考慮到虛擬化架構內外部的安全,包括數據安全等問題,以保證整個系統長期安全穩定的運行。
2.2 架構設計
超融合架構在數據中心中承擔着計算資源池和分佈式存儲資源池的作用,極大地簡化了數據中心的基礎架構,而且通過軟件定義的計算資源虛擬化和分佈式存儲架構實現無單點故障、無單點瓶頸、彈性擴展、性能線性增長等能力;在虛擬化層可以自由選擇Hypervisor的品牌,包括VMware vSphere、MicroSoft Hyper-v和KVM;而且通過簡單、方便的管理界面,實現對數據中心基礎架構層的計算、存儲、虛擬化等資源進行統一的監控、管理和運維。超融合基礎架構形成的計算資源池和存儲資源池直接可以被雲計算平臺進行調配,服務於OpenStack、Cloud Foundry、Docker、Hadoop等IAAS、PAAS平臺,對上層的互聯網及物聯網業務等進行支撐。同時,分佈式存儲架構簡化容災方式,實現同城數據雙活和異地容災。現有的超融合基礎架構可以延伸到公有云,可以輕鬆將私有云業務遷到公有云服務。
圖2.1 超融合數據中心架構
2.3 方案描述
2.3.1 計算資源
基於Nutanix架構的模塊化數據中心由Nutanix Block (區塊)和Nutanix Node (節點)組成。下圖2.2爲標準的一個Block (區塊)設備,僅佔用2個機架單元 (2U高)。而每臺標準的Nutanix Block (區塊) 設備均含有四個獨立的Nutanix節點,每個Node(節點)都是一臺獨立的x86服務器。卻能夠提供4臺標準2路Intel CPU的x86 服務器和最大48TB存儲容量。
圖2.2:Nutanix Block (區塊 ) 和 Node (節點 )
Nutanix的計算資源池是通過x86服務器虛擬化來實現的,可以支持VMware vSphere、MicroSoft Hyper-v及Nutanix Acropolis平臺提供的KVM等Hypervisor,如圖2.3。在虛擬化Hypervisor層形成計算資源池,爲業務系統的虛擬機提供不同的服務質量和能力,包括了高可用(High Availability)、容錯(Fault Tolerant)、在線遷移(Live Migration/vMotion)、資源動態負載均衡(Distributed Resource Scheduler)等虛擬化的特性。同時,Nutanix可以支持業務虛擬機在不同的Hypervisor之前進行遷移,也就是V2V的能力,例如從vSphere遷移到KVM等。
圖2.3 超融合架構計算資源池(x86服務器虛擬化)
2.3.2 存儲資源
Nutanix提供的分佈式文件系統(NDFS)可以將一組集羣內的節點組成一個統一的分佈式存儲平臺。NDFS對於x86虛擬化平臺軟件而言就是一個集中的共享式存儲,與任何其他集中式存儲陣列一樣工作,且提供更爲簡單便捷的存儲管理,無需像傳統集中存儲那樣再配置LUN、卷、或者Raid組。
圖2.4 Nutanix分佈式存儲架構和功能
Nutanix分佈式存儲架構不僅同樣提供傳統存儲的能力外,還提供更多的能力。針對於虛擬化方面提供快照、克隆等機制,數據層實現本地優先訪問、存儲分層等性能機制,對數據進行壓縮和去重提高存儲可用容量,藉助兩份以上冗餘數據提供存儲的可靠性,增加或減少節點數據分佈會自動平臺,當節點宕機或磁盤損壞後具備數據自恢復能力等。
Nutanix每個節點提供兩種磁盤,標準配置爲2塊SSD,容量從480GB到1.6TB;4塊SATA的HDD,容量爲1TB和2TB (部分型號節點提供4TB和6TB的HDD)。
圖2.5 分佈式存儲系統邏輯架構
NDFS被設計成爲非常動態的平臺,可以適用於不同工作負載的應用,並且允許混合節點類型:例如將計算密集型節點和存儲密集型節點混合在一個集羣中。對於集羣內部磁盤容量大小不同的,確保數據一致的分佈非常重要。NDFS有自帶的稱爲磁盤平衡的技術,用來確保數據一致的分佈在集羣內部各節點上。磁盤平衡功能與各節點的本地磁盤利用率和內置的NDFS ILM(數據生命週期管理)一同工作。它的目標是使得所有節點的磁盤利用率大致相等。
另外,Nutanix節點通過ILM實現SSD和HDD的數據熱分層。簡單而言,磁盤的熱分層時實現在集羣內所有節點的SSD和HDD上,並且由ILM負責觸發數據在熱分層之間的遷移。本地節點的SSD在熱分層中是最高優先級的,負責所有本地虛擬機IO的讀寫操作。並且還可以使用集羣內所有其他節點的SSD,因爲SSD層總是能提供最好的讀寫性能,並且在混合存儲環境中尤爲重要。
在超融合的虛擬化環境中,所有IO操作都將由本地節點上的Nutanix Controler VM(CVM)接管,以提供極高的性能。據以往經驗及用戶習慣分析,一般運行服務器虛擬化的虛擬機對IO性能要求在200-300 IOPS左右,而單個Nutanix節點可提供25000上的IOPS,4節點集羣可提供將近100,000的IOPS。完全可以滿足需求。
2.3.3 網絡拓撲
在每個單節點上,默認提供如下網絡端口:
標配 | 2x 1 GbE, 1x 1 GbE RJ45 (IPMI) |
附加 | Dual-Port 10 GbE/Quad-Port 10 GbE/Dual-Port 10 GBASE-T2x 1 GbE, 1x 1GbE RJ45 (IPMI) |
下圖爲Nutanix推薦的網絡拓撲圖:
圖2.6 網絡拓撲
在計算虛擬化資源池中的每臺虛擬化Hypervisor節點上會運行多臺虛擬機,多臺虛擬機之間共享網絡,爲了方便管理建議採用虛擬交換機來配置和管理網絡,虛擬交換機可在數據中心級別提供集中和聚合的虛擬網絡,從而簡化並增強虛擬機網絡。在虛擬交換機的網絡劃分上,仍然可以採用VLAN的方式劃分不同的子網,實現不同子網段的安全和隔離。
在網絡隔離上,也可以採用網絡虛擬化VXLAN技術。VXLAN網絡協議,即VLAN協議的擴展版本。VXLAN網絡可以跨越物理邊界,從而跨不連續的數據中心和集羣來優化計算資源利用率。VXLAN採用邏輯網絡與物理拓撲相互分離,使用IP的技術,所以無需重新配置底層物理網絡設備即可擴展VXLAN網絡。正因如此,也就無需再花費大量時間來規劃如何調配VLAN及管理VLAN數量劇增問題。
在每個Nutanix物理節點上有多種網絡需求,包括管內部通訊網絡、管理網絡、生產網絡等,因此每個Nutanix節點需配置多塊網卡,網絡設計建議如下:
類型 | 設計 | 備註 |
Nutanix物理節點之間的內部通訊網絡 | 10Gb以太網 雙鏈路冗餘 | 每個節點通過兩條萬兆鏈路分別連接兩臺萬兆交換機,保證網絡設備和鏈路的冗餘度。 Nutanix建議用戶使用萬兆網絡互聯物理節點,當發生密集的寫IO時,萬兆網絡能保證提供足夠帶寬滿足節點之間的IO同步流量。 |
客戶端與服務器虛擬機之間的通訊網絡,虛擬化服務器對外服務網絡 | 1Gb/10Gb以太網,雙鏈路冗餘 | 每個節點通過兩條千/萬兆鏈路分別連接兩臺千/萬兆交換機,保證網絡設備和鏈路的冗餘度。 用戶訪問虛擬服務器對外提供服務時,通過千/萬兆鏈路可以實現與後端存儲流量隔離。 |
硬件管理網絡 (IPMI) | 1Gb以太網 | 每個節點都有獨立的千兆鏈路,用於連接專門的管理網絡,實現管理網絡與業務網絡、存儲網絡分離。可以最大限度保證管理的靈活性和安全性。 |
2.3.4 備份容災
Nutanix平臺自帶的存儲層面及基於虛擬機粒度的備份恢復功能Time Stream。用戶可以針對每個虛擬機設置不同的備份策略,包括備份計劃和備份保留週期,Time Stream會自動通過存儲快照方式對虛擬機進行備份。所有Time Stream的快照均是基於存儲層面的,與虛擬化層面(例如VMware vSphere)的快照不同,存儲層面的快照不會影響虛擬機的性能,對於虛擬化軟件是完全透明的。
傳統的備份方式通過網絡傳輸備份數據,需要特定的備份窗口以免影響業務正常運行。Time Stream備份可以與傳統的備份策略互補,既能保證對於重要的虛擬機進行高頻度備份又不會佔用額外的網絡帶寬。例如:
· 對於普通虛擬機可以使用傳統的備份方式每週進行全備,將備份數據保留在外部存儲(例如磁帶庫中);同時使用Time Stream備份進行每天甚至每12小時的備份,數據直接保留在存儲上以便快速恢復。
· 對於比較重要的虛擬機可以使用傳統備份每週全備、每天增量的方式,將備份數據保留在外部存儲(例如磁帶庫中);同時使用Time Stream備份進行每2小時甚至每小時的備份,數據直接保留在存儲上以便快速恢復。
· 可以採用vSphere Data Protection Advanced(簡稱VDPA,只針對vSphere)、Commvault(VMware和Hyper-v)、Weeam(vSphere和Hyper-v)等虛擬化備份解決方案作爲有效補充。
圖2.7 Metro Availability
Nutanix容災功能,分爲兩個級別:Metro Availability和Remote Replication。都是基於虛擬機快照的方式將更新數據異步複製到遠程的Nutnaix集羣中。Metro Availability可以實現同城雙數據中心之間的RPO接近於“零”(需要裸光纖支持),即便是標準Remote Replication也能實現RPO爲1小時(基於網絡帶寬和更新數據量),滿足絕大多數異地容災的業務需求。Nutanix容災支持雙向、一對多、多對一各種不同的複製模式。並且可以通過Nutanix自帶的管理界面激活容災中心的虛擬機進行容災演練。不再需要額外繁瑣的災難恢復計劃,基於鼠標點擊即可完成容災切換。
使用Nutanix解決方案可以在項目初始即確定今後的容災規劃,而無需在今後專門立項重複設計整體容災架構。依據用戶規模和分支機構數量,通過簡單靈活的軟件配置,將已有分支機構的虛擬化環境遠程容災到總部數據中心,逐步形成星型的容災架構。
2.4 方案優勢
使用Nutanix虛擬化基礎架構,在保證用戶數據的高速訪問和高可靠性同時,不再需要傳統的集中式存儲架構,避免在今後運行過程中出現設計初期忽視的性能問題。
按照服務器和存儲使用現狀,建議使用Nutanix來支撐現有應用。在今後隨着業務發展,可以方便的按照節點進行擴容,避免建設初期一次性投資過大,後期卻發現性能問題,需要追加投資的問題出現。
Nutanix是部署廣泛、值得信賴的虛擬化基礎架構平臺。Nutanix適用於最重要的國防、醫療、教育等領域,可爲數據中心虛擬化帶來橫向擴展架構、高可用性和可靠性等優勢。研究顯示,並非所有的企業數據中心項目真正做到了全面部署,很大一部分項目通常因爲基礎設施的成本不斷攀升而束之高閣。傳統服務器和存儲陣列擴展成爲企業數據中心項目成本高昂、過程複雜並且難於實施的主要因素。從諸多數據中心項目實施來看,在企業環境中,性能、可靠性、可擴展性是關鍵,因爲最終用戶體驗直接來自於基礎設施的高性能和高可靠性。
Nutanix將融合基礎設施、橫向擴展架構和軟件定義存儲的各種優勢結合在一起,可提供極佳的數據中心虛擬化體驗,而其成本僅爲傳統服務器和存儲器的一小部分。Nutanix完整集羣是一種能夠橫向擴展的計算和存儲基礎設施,它使各組織機構無需存儲網絡(SAN或NAS)即可實現數據中心虛擬化。Nutanix專門爲虛擬化而設計,能夠提供全面的計算和存儲能力,以及企業級的性能、可擴展性、可用性和數據管理功能。它採用英特爾芯片、固態硬盤等符合行業標準的硬件組件,以及市場領先的高級管理程序,以便提供開箱即用的解決方案,讓數據中心虛擬化變得極其簡單有效。
1)互聯網架構的分佈式計算
Nutanix架構與Google的架構相類似,是一種可以橫向擴展的計算存儲融合的基礎架構,消除了對於集中式存儲對於網絡的依賴。並且在基於Google的架構之上,提供了適合企業環境的解決方案。GFS是一種特定的解決方案爲Google內部的應用所使用(例如Gmail),而Nutanix提供的是一種通用的虛擬化環境解決方案。另外,Nutanix有更好的橫向擴展能力,提供更好的企業級數據管理特性,通常這些特性需要額外的網絡或者存儲硬件才能實現,例如,高可用性、備份、快照、災難恢復等。
2) 專爲虛擬化設計
Nutanix是針對虛擬化環境而設計的,因此可以很好的支持虛擬化環境中基於傳統存儲架構所實現的功能,包括虛擬機的熱遷移和高可用性等。Nutanix架構是虛擬機感知型的,它克服可傳統架構下解決方案的一些弊端,例如,當一個存儲設備(LUN)共享所有虛擬機使用時,很難使用在存儲上使用基於虛擬機的備份、複製和快照功能,並且當架構越來越複雜時,很難診斷性能瓶頸。而Nutanix架構克服了這些限制。
3) 存儲分層優勢
Nutanix架構充分發揮了存儲分層的SSD固態硬盤的優勢,由於傳統存儲都是針對機械硬盤而設計的,而傳統的機械硬盤與SSD硬盤的數據訪問方式完全不同,機械硬盤需要旋轉和尋道,而SSD硬盤則完全沒有這些限制,因此不能指望針對機械硬盤設計的存儲軟件能充分發揮SSD硬盤的性能優勢。Nutanix架構使用SSD來保存大量經常訪問的數據,從虛擬機的元數據到業務數據都保存在分佈式Cache中已提供極高的IO性能,並且保存在持久化的存儲中以便於存取。Nutanix架構極高的IO吞吐性能是得益於使用SSD磁盤,包括:
• 保留SSD用於IO敏感的操作;
• 包含空間節省的技術,允許大量的邏輯數據被存儲在一個小的物理空間中;
• 自動遷移“冷”數據(或者不常訪問的數據)到大容量SATA硬盤中,並且允許管理員指定低優先級的虛擬機不使用SSD磁盤。
2.4.1 橫向擴展優勢
Nutanix給虛擬化環境帶來的重要差異化因素之一就是,基礎設施在進行擴展時其性能仍然保持不變。在Nutanix架構中,在每個物理節點本地都運行一個虛擬存儲控制虛機(CVM)。CVM負責本地所有其他虛擬機的IO操作。當集羣擴展時,新增加節點的同時也新增了CVM,保證了整個集羣性能的橫向擴展。與傳統集中存儲不同,傳統架構下集中存儲只有兩個存儲控制器,在集羣擴展時,存儲控制器無法進行有效的擴展,從而必然成爲整個架構的瓶頸。參考圖2.4說明了Nutanix的橫向擴展架構的優勢。
爲了展示這種能力,Nutanix曾實施過一個巨型的VDI項目,模擬桌面啓動風暴,並且當基礎設施從300臺桌面擴展到3000臺時,其性能從最終用戶體驗的角度來看保持了一致。在大多數傳統的存儲環境中,最佳性能僅出現在第一天,因爲應用程序或工作負載越來越多,導致性能隨着時間的推移不斷下降,直至需要進行叉車式升級,採用全新的存儲陣列。
下圖說明了從300臺桌面擴展到3000臺時,應用響應時間保持不變:
圖2.8 不同VDI數量下的相應時間
2.4.2 性能優勢
Nutanix解決方案在數據中心虛擬化環境中的主要優勢之一就是性能,而性能優勢是通過傳統的服務器和存儲架構實現的。在傳統的架構中,時延是因爲每次訪問存儲都需要通過網絡而造成的。通過NFS和iSCSI等協議提供存儲本身沒有問題,但網絡會增加時延。Nutanix可提供NFS協議的優勢及其易用性,而通過所謂的“無網絡NFS”消除了網絡時延。Nutanix分佈式文件系統直接對虛擬機進行檢測,然後將特定虛擬機的所有數據存放到本地物理服務器上。因此,虛擬機不是通過網絡、而是通過高速內部總線訪問其數據。並且所有節點標配SSD磁盤,提供極高的IOPS以滿足虛擬化環境各種類型應用需求,無論是虛擬桌面還是服務器虛擬化場景。
更爲重要的是,每個節點的SSD磁盤並非有每個節點單獨使用,而是在整個集羣範圍內作爲一個整體使用。言下之意,不會由於單個節點本地的SSD耗盡而導致其性能急劇下降。當出現這種極端情況時,節點會使用集羣中其他節點的SSD空間。因爲即使跨網絡訪問其他節點SSD磁盤也會比訪問本地SATA磁盤快很多。因此極端最差情況時性能也與使用傳統集中存儲架構時服務器通過網絡訪問數據的場景相當。其實不會出現這種極端情況,因爲當SSD利用率超過一定閾值後,Nutanix的CVM會自動發現並將最少訪問的數據從SSD遷移到SATA上,以保證SSD有足夠容量滿足突發的IO請求。這一自動熱分層技術對虛擬化主機而言完全透明。用戶無需關心數據保存在哪裏,這完全由CVM依據數據訪問頻度而自動調度。
2.4.3 可靠性
Nutanix平臺使用複製因子(RF - Replication Factor)和校驗和(checksum)來保證當節點或者磁盤失效時,數據的冗餘度和可用性。當數據寫入SSD時,會被“同步”複製到另1個或者2個Nutanix CVM的SSD之中(依賴RF設置爲2或者3),當這個操作完成之後,此次寫操作才被確認(Ack)。這樣能確保數據至少存在於2個或者3個獨立的節點上,保證數據的冗餘度。
所有節點都參與數據的複製操作,這樣能消除“熱點節點”,並保證線性的性能擴展。當數據被寫入時,同時計算該數據塊的校驗和,並且作爲數據塊元數據中的一部分進行存儲。隨後數據塊在保證滿足RF的前提下,被“異步”推送到HDD中。當發生節點或者磁盤失效,數據塊會重新在所有節點間進行復制以滿足複製因子的設置。任何時候,讀取數據塊並同時計算其校驗和以確保數據塊有效。當數據塊檢查結果不匹配校驗和時,副本數據將會覆蓋該無效數據塊。
在Nutanix分佈式文件系統中(NDFS),我們使用了一些關鍵技術來確保:數據在100%時間內都是可用的(即“強一致性”),並且保證NDFS擴展到超大規模數據量時依然可靠。這就是文件系統元數據強一致性的Paxos 算法。NDFS使用一種“環狀”的Key-Value結構的分佈式數據庫來保存重要的元數據。爲了確保元數據的可用性和冗餘度,也同樣引入了複製因子(RF)。一旦一條Metadata記錄被寫或者更新後,這條記錄將同時寫到“環”中的另一個節點,然後被複制到n個其他節點(n決定與集羣的大小)。集羣中大多數(majority)節點必須同意才能commit一條記錄,這就是強一致性的Paxos 算法。這確保了Nutanix平臺數據的“可靠性”。
2.4.4 易於部署
Nutanix開箱即用的部署方式,可以免去傳統集中存儲環境下存儲的規劃、連接、配置等複雜的管理操作,無需再配置Raid組、LUN、卷等。新設備安裝上架後只需要約20分鐘即可完成初始化配置,用戶可以馬上開始部署應用虛擬機。
Nutanix集羣的擴展也非常方便,通過鼠標點擊即可掃描並自動發現新安裝的節點,按照提示完成IP地址配置之後,新節點即完成加入集羣操作,新增資源也自動納入資源池統一調度管理。
2.4.5 集中管理
通過Nutanix的Prism界面實現所有基礎架構的管理操作,包括健康檢查、物理機管理、虛擬機管理、存儲管理、數據保護、告警監控、報表分析等內容。用戶不再需要通過不同界面進行各種管理任務,所有任務都在同一個界面中完成,極大減少的管理複雜程度。
並且可以通過設置不同權限的用戶,支持AD整合,將域用戶和角色對應到Nutanix的用戶和組,從而實現分級的運維管理。
圖2.9 統一管理界面Prism
所有物理和虛擬管理對象均提供詳細的性能採集數據,包括CPU、內存、磁盤容量、IOPS、吞吐、讀寫延遲等指標,不再依賴於專用的監控工具和複雜的監控腳本。
圖2.10統一監控能力
自定義的報表工具可以靈活的將將不同監控項進行組合和展示,減少日常維護的工作量。
圖2.11 自定義監控指標
另外,Nutanix還提供Prism Central的管理組件,可以將多個Prism管理界面集中管理,不僅可以節省管理員在多個集羣之間切換的繁瑣動作,更能夠將多個集羣的狀態數據進行彙總,可以方便管理員快速定位當前整個IT架構中是否存在熱點主機或者熱點虛擬機,特別有利於簡化大規模IT架構、或者多站點場景下的日常管理任務。
2.4.6 自動故障恢復
Nutanix拋棄了傳統的Raid機制來保護硬件失效,採用全新的複製因子和校驗和技術來保證當節點或者磁盤失效時,數據的冗餘度和可用性(參見章節2.5.4 可靠性)。當發生單點磁盤甚至是單個節點故障時,Nutanix集羣將自動發現這一故障,並立刻在後臺開始數據重建工作。整個重建過程非常簡單,假設複製因子是2,系統會自動發現只有1份副本的數據塊,並將其在另一個節點上覆制第2份副本即可。最重要的是,這個數據重建過程是基於MapReduce的分佈式框架實現的,集羣中所有節點的CVM都可參與數據重建工作,並且依據負載情況動態調配,因此重建工作不會影響系統性能。
與傳統的Raid數據重建不同的是,Raid重建過程會極大影響磁盤的正常操作,導致整個系統性能降級,並且由於磁盤容量越來越大,整個重建過程也將耗費更長時間,甚至超過20小時。
另外,Nutanix獨有的Availability Domain技術更能預防單個機箱(即整個Block)失效時數據依然可以訪問,實現原理即當用戶環境中有超過3個block,並且配置相近的節點數量時,Nutanix CVM會自動將原始數據塊和副本數據塊放在不同的Block中的兩個節點上(缺省RF=2時,數據只是隨機放在兩個不同的節點上,有可能這兩個節點位於同一個Block中)。當發生機箱故障時,由於數據副本在機箱之外,因此數據依然可用,Availability Domain可以提供更高等級的數據冗餘度。
3 配置清單
方案建議的詳細軟配置清單:
NX-3000系列配置 | 數量 |
NX-3460 G4 | XX節點 |
每節點配置: CPU:2顆16核E5-2630v3 2.4GHz MEM:256GB (16 x 16GB) SSD:2塊480GB HDD: 4塊2TB SATA NETWORK:4個10Gb 電口 | 分佈式存儲 大數據分析平臺等 |
NX-1000系列配置 | 數量 |
NX-1465 G4 | XX節點 |
每節點配置: CPU:2顆16核E5-2640v3 2.6GHz MEM:256GB (16 x 16GB) SSD:1塊480GB HDD: 2塊6TB SATA NETWORK:4個10Gb 電口 | 服務器虛擬化 |
方案配置容量和能力:
目前存儲總容量可達XX TB,分佈式存儲吞吐量達XX IOPS以上,支持虛擬機數量達XX個VM以上。
4 超融合產品介紹
4.1 Nutanix的發展歷程
Nutanix的創始人正是創建谷歌分佈式系統的那些人,該公司爲企業數據中心提供雲環境中常見的可擴展性、可用性、簡單性和高性能。下圖顯示了傳統數據中心與谷歌數據中心的外觀差異。大多數雲提供商實施的是所謂的軟件定義數據中心。在傳統的數據中心,當管理員需要更多存儲器時,便購買存儲器;當需要更多計算能力時,便購買服務器;當需要安全性時,便購買防火牆;諸如此類。而在軟件定義數據中心,你只有服務器:當你需要更多存儲容量時,便調用存儲服務;當你需要更多計算能力時,同樣的服務器便爲你調出各種應用程序;當你需要其它基礎設施服務時,便可按照自己的需要調用和停用各種服務。因此,在軟件定義數據中心,硬件不再是至關重要的組件,數據中心的所有事項均在軟件層進行控制和界定,因此能夠實現前所未有的簡便性、可擴展性和自動化。
圖4.1:傳統數據中心對比谷歌數據中心
4.2 Nutanix架構和軟件定義存儲
Nutanix將融合基礎設施、橫向擴展架構和軟件定義存儲的各種優勢結合在一起,可提供極佳的數據中心虛擬化體驗,而其成本僅爲傳統服務器和存儲器的一小部分。每一臺Nutanix服務器均包含CPU、內存、網絡、SSD或閃存、以及HDD存儲功能。Nutanix存儲控制器是一臺虛擬機,運行於每臺服務器上,可將本地存儲轉換成爲共享存儲。Nutanix完整集羣中的所有可用存儲均作爲單一的文件系統提供,稱爲Nutanix分佈式文件系統。
圖4.2:Nutanix計算存儲完整架構
儘管沒有專門的SAN或NAS,Nutanix仍然能夠無縫提供高可用性、DRS和容錯等企業虛擬化功能。爲了將性能最大化,Nutanix存儲控制器將特定虛擬機的所有數據保存在同一服務器上,從而將時延最小化,而將SSD閃存的優勢最大化。
圖4.3:Nutanix軟件定義型存儲控制器
4.3 Nutanix與傳統架構的差別
企業構建虛擬化基礎架構時,通常採用的方式是使用服務器通過存儲網絡連接存儲,這樣的傳統架構無法滿足虛擬化環境不斷變化的需求。低效的網絡存儲成爲最大的成本開銷,並且它使得虛擬化架構更爲複雜。對於相對靜態的工作負載而言,基於網絡的存儲架構能夠很好的滿足需求。對於虛擬化環境而言,尤其是當前雲計算正在日益普及,使得整個數據中心越來越動態,虛擬機的創建和遷移依賴於大量的共享資源。這些特徵使得管理虛擬機及其底層的基礎架構變得越來越複雜。
由於創建虛擬機變得越來越容易,導致數據中心內部數據量快速增長。在企業內部,使用虛擬桌面替代原來的工作桌面越來越成爲趨勢。服務供應商需要幫助客戶解決他們無力承擔的虛擬化項目所帶來的成本和管理上的額外開銷。在傳統的集中存儲的架構上,虛擬機的蔓延帶來了越來越多的成本、性能和管理壓力。
SSD磁盤的廣泛使用已成爲另一個行業趨勢,並且加深了服務器與集中存儲之間的性能瓶頸問題。由於使用SSD硬盤比傳統硬盤快100-1000倍,使得已有的網絡瓶頸和網絡複雜性進一步加深。許多存儲廠商已經在他們的解決方案中增加了SSD磁盤,使得用戶不得不繼續增加現有存儲的成本投入,並且迫使用戶投入更多資金改造已有的網絡設備。
Google、Amazon、Yahoo等引領互聯網雲計算的公司相信,使用傳統架構將無法滿足其數據中心的需求。他們使用軟件的方式(例如Google的GFS),將大量的帶有本地硬盤的普通服務器連接成一個巨大的集羣,使用帶有本地硬盤的普通服務器作爲最小的構建單位,使用這樣的計算存儲融合的基礎架構支撐Google的應用程序。應用程序可以無縫運行在跨所有服務器的集羣之上,這樣的集羣所提供的高可用性可以保證當硬盤失敗,甚至整個服務器失效都可以使應用不受影響。Google通過使用大規模可擴展的計算存儲融合架構構建GFS,從而避免傳統架構所帶來的成本和性能問題。
Nutanix使用一種類似的可橫向擴展的技術,構建企業級計算存儲融合的基礎架構,並且專爲虛擬化環境而優化。
4.4 Nutanix和超融合市場
Nutanix身處於超融合基礎架構(Hyper-Converged Infrastructure,或簡稱“HCI”)領域的領導地位,IDC數據2014年顯示,其目前的市場佔有率爲52%,佔據了HCI市場的半壁江山。
圖4.1 IDC 2014年全球超融合市場
在Gartner於2015年8月最新給出的集成基礎設施魔力象限中,Nutanix處於領導者象限,且技術前景遠好於其他公司。
圖4.2 Gartner全球集成系統市場