在數據中心網絡領域，性能、規模似乎永遠沒有邊界，是業界技術人員、設計者們不斷追求與創新的目標。從1G速率骨幹網的應用、10G速率骨幹網的普及，到40G/100G以太網標準的制定和頒佈， IT領域同樣有着更高、更快、更強法則。但是有了高速的轉發技術，並不意味着就可以實現高性能，高性能網絡設計是一個系統化的工程，需要考慮網絡流量收斂比、網絡設備性能、網絡設備緩存等多種因素。本文將重點闡述高性能數據中心的流量收斂設計，從二三層架構、產品選型等幾個方面提供設計參考建議。
文/劉鑫
1. 什麼是網絡流量收斂？
數據報文的流量收斂，是指數據報文在網絡轉發過程中由於架構、設備等非故障原因而不能實現線速無丟包轉發。在流量收斂時，網絡設備會有部分端口擁塞，進而丟棄部分報文。一般在園區網，由於流量壓力不大，園區網網絡一般都會存在較大的流量收斂；但在數據中心網絡，由於其對性能要求高，流量收斂的設計必須謹慎。
造成網絡流量收斂的原因主要有兩個：交換機不支持線速轉發，在交換機內部可能形成流量收斂；網絡架構設計不當，無論交換機是否線速，轉發報文時也會存在流量收斂。以下將分別以示例說明。（注：示例中對於傳輸報文速率、帶寬收斂等的計算沒有考慮到網絡層協議等開銷。“收斂比”在此也不能用於評價整個數據報文的端到端轉發的性能及是否丟包，只是從模型上提供一個高性能網絡架構設計的參考。）
交換機非線速導致的收斂。
某交換機只具有8Gbps線速轉發的交換能力，某時刻從交換機前12個接口向後12個接口同時轉發流量，當每個接口流量均跑滿1Gbps時，在交換機內部一定會有擁塞，此時便形成了轉發的收斂（如圖1所示）。實際每秒交換機接收流量爲12Gbps，但轉發出去的報文只有8Gbps，收斂比爲輸入帶寬(12Gbps)÷輸出帶寬(8Gbps)=3:2。
圖1交換機非線速導致的收斂示意
網絡設計不當導致的收斂
如圖2所示，4臺服務器分別通過千兆鏈路連接接入交換機，接入交換機通過1條千兆鏈路連接核心交換機。即接入交換機的下行帶寬爲4Gbps，接入交換機的上行帶寬爲1Gbps，爲非對稱鏈路，下上行鏈路收斂比爲下行帶寬（4Gbps）÷上行帶寬（1Gbps）=4:1。
圖2網絡設計不當導致的收斂示意
2. 合理的流量收斂設計
爲避免擁塞導致網絡性能下降，需進行合理的流量收斂設計，一般要關注以下幾點：
• 鏈路收斂比的設計，包括服務器的網絡接入帶寬，匯聚/接入交換機與核心間的互聯帶寬；
• 網絡架構設計；
• 可用鏈路設計；
• 設備收斂比及設備選擇設計。
2.1 網絡架構的流量收斂設計
在骨幹網絡的設計中，應根據業務流量的大小（包括平均水平、峯值等）合理的規劃鏈路帶寬和收斂比，據此再選擇性能合適的（線速或非線速）設備等。在數據中心網絡架構的設計中，收斂設計一般以單臺終端設備（如服務器、PC機）在覈心交換機側所分配的單向流量的帶寬保障爲衡量標準。網絡設備是否線速、網絡層次、上下行鏈路帶寬、終端接入數量等都是需要考慮的因素。以核心-接入兩層網絡爲例（如圖3所示），其設計如下：
圖3 某數據中心網絡拓撲
核心交換機及所配置板卡均爲線速（無收斂），接入層網絡設備爲線速（無收斂）；
每臺服務器通過2根千兆網線分別上連2臺接入交換機（假設服務器網卡均可以最大速率（千兆）傳輸）；
每臺接入交換機通過2根萬兆光纖分別上連2臺核心交換機。
1、2號接入交換機每臺下聯20臺服務器（A組），3、4號接入交換機每臺下聯40臺服務器（B組）。
所有鏈路均爲可用鏈路（即沒有鏈路只做備份不傳輸業務數據），可同時傳輸數據，並假設所有鏈路均可以跑滿到帶寬上限。
A、B組服務器上行至核心交換機的鏈路收斂比，即爲各自的網絡傳輸收斂比，計算如下。
A組：接入交換機下行40Gbps÷接入交換機上行40 Gbps=1：1，平均每臺服務器在覈心交換機側的可保障帶寬爲2G；
B組：接入交換機下行80G÷接入交換機上行40 G =2：1。平均每臺服務器在覈心交換機側的可保障帶寬爲1G。
可見，B組服務器的網絡轉發架構收斂比大，在性能設計方面要差於A組服務器。
在普通的局域網或園區網內，單終端網絡性能需求較小，可以設計較高的收斂比。如在千兆到桌面的二層網絡架構中，接入交換機的下上行鏈路收斂比可以設計爲40：1甚至更大。可以假設單臺接入交換機通過千兆鏈路連接40個PC終端，通過1條千兆鏈路連接核心交換機，在40：1收斂的情況下，每個PC在覈心交換機側也可以分配到25M的帶寬，足夠每個終端使用，那麼這種收斂設計就是合理的。
但在數據中心等性能壓力較大的環境中，則要求收斂比較小，在萬兆骨幹千兆終端的網絡設計中一般不超過10：1。如某數據中心萬兆骨幹千兆終端設計，二層扁平化架構，核心、接入交換機所有端口全部可以線速轉發，設計爲10：1收斂，則實際每臺服務器在鏈路層可以分配100M帶寬；若設計爲1:1收斂，纔可分配1000M帶寬。
2.2 二層、三層架構設計
這裏的“二層”是指核心、接入兩層設備的扁平化設計（如圖4所示），二層架構具有更小的收斂比，在性能要求更高的數據中心等環境應考慮爲二層扁平化架構設計。
圖4 二層網絡架構模型
“三層”是指核心、匯聚、接入三層設備的組網設計（如圖5所示），匯聚設備在實際組網中可以是交換機、防火牆等設備。
圖5 三層網絡架構模型
三層架構或多層架構具有較高的收斂比，此種架構設計會導致性能的下降。但在政府或大型園區或某些特殊領域等，由於業務架構或網絡安全性的要求，必須部署匯聚層設備作爲網關、部署安全隔離等。
在數據中心設計中，可以考慮二層+三層（多層）的架構設計，例如性能要求高的應用系統網絡架構採用二層網絡設計，而安全性要求高的應用系統網絡架構採用三層或多層網絡設計。
2.3 可用鏈路的設計
在數據中心更爲通用的設計方法是採用環路接入拓撲模式，以生成樹協議(MSTP)配合網關冗餘協議(VRRP)提供服務器接入的可靠性。同時，服務器以多網卡連接網絡以進一步提供冗餘能力。但此種設計的冗餘鏈路往往只能在主用鏈路故障時才發揮作用，鏈路及設備的利用率不高，也影響着這個網絡的收斂比。
如圖6左圖所示，在MSTP/VRRP的設計中，爲消除環路，只有一條鏈路在轉發。圖6右圖採用H3C IRF2虛擬化技術之後，在不改變傳統設計的網絡物理拓撲、保證現有佈線方式的前提下，以IRF2的技術實現網絡各層的橫向整合，即將交換網絡每一層的兩臺、多臺物理設備使用IRF2技術形成一個統一的交換架構，減少了邏輯的設備數量。
圖6 IRF2虛擬化技術提升網絡鏈路利用率
虛擬化整合後的IRF2系統，對外表現爲單臺物理設備，因此，在保持基本網絡互聯條件下，可將一對IRF2系統之間的多條線纜進行鏈路捆綁聚合動作，從而將不同網絡層之間的網狀互聯簡化成單條邏輯鏈路。可用鏈路增多，也就降低了整個轉發的鏈路收斂比。
在終端接入側，也有類似的設計方式。若服務器雙網卡爲主-備方式，則可設計爲只有主用鏈路生效、備用鏈路在主用鏈路故障時啓用；若服務器雙網卡爲主-主方式，則全部上聯鏈路均可以使用（如圖7所示），配合鏈路收斂比設計可以提高網絡中的實際可用帶寬，提升網絡轉發性能。此種設計需要接入交換機支持IRF2或類似虛擬化技術，使接入交換機與服務器雙網卡可以進行多鏈路聚合設計。
圖7 接入側的高可用帶寬設計
2.4 設備的設計與選擇
上述舉例均假設所有交換機的所有端口可以線速轉發，如果核心交換機等設備的端口非線速，還需要考慮在交換機上的收斂。因此，爲保證數據中心網絡的高性能，最好選用具有全線速能力的交換機設備。
但在高密度萬兆板卡領域，由於接口緩存大小同樣重要，而具有全線速高密度萬兆端口的板卡的緩存一般都較小，因此需要在緩存與萬兆性能間進行取捨。
結束語
流量收斂設計，是複雜的系統工程，需要根據網絡流量、業務需求，考慮網絡二層/三層架構、實際可用鏈路等因素，尤其在數據中心等關鍵網絡環境的建設中是需要重點考慮的。