堆疊設備在基本不斷業務的情況下進行替換
隨着互聯網網絡技術的不斷髮展，慢慢的衍生出來了很多高可靠類技術，比如橫向虛擬化堆疊、MLAG等。我們作爲負責日常網絡運維的攻城獅，不僅要保持一種不斷學習的良好心態，而且要求對於現網可能引起的故障問題或者潛在風險能夠做出一個很好的判斷，從而最大程度的減少對於業務的影響。本篇博文主要講解堆疊設備在基本不斷業務的情況下進行替換（本案例是以H3C S6800設備替換銳捷設備S6220）。
1、 變更背景
1）現網的堆疊設備版本過老，更新版本或者補丁存在安全隱患，斷電或重啓擔心設備起不來；
2）性能上存在很大瓶頸，如轉發效率低；
3）堆疊設備其中一臺設備存在安全隱患，需要被替換掉；
2、 變更準備
1） 新上架的H3C設備堆疊、版本、補丁、配置均經翻譯好，配置已導入
2） 如果是遠程升級，還需現場機房同學攜帶電腦、console線纜、CRT、向日葵客戶端、手機，便於主備倒換時遠程上去切流量，如果是現場升級，可直接console上去，該步驟則可省略
3） 確保主設備上下行接口關閉後流量倒換到備機，備機上行接口流量不會被打滿
4） 備份現網設備配置信息，銳捷設備如
show run
show ip int b
show ip ospf nei
show ip bgp nei
show arp counter
show arp detail
show interface status
show switch virtual
3、 拓撲環境
注：銳捷設備萬兆46~48口是堆疊線纜，44口是MAD檢測線纜，上行40G可以跑三層，也可以配置聚合，下行接業務主機，爲保證帶寬利用率及高可靠，TOR交換機連接業務主機全配置的動態鏈路聚合
4、 變更替換方案
1） 將老銳捷主設備上下行業務接口關閉，將業務流量倒換到銳捷備機
2） 現場同學下架老銳捷主設備
3） 現場同學記錄老銳捷主設備線序
4） 上架H3C主設備（新H3C設備配置已經翻譯並導入），上下行業務口及管理口暫時不接，確保銳捷備機管理口可達，可以通過遠程管理到銳捷備機
5） 確認H3C主設備版本正常加載，登錄H3C主設備，手工批量關閉上下行業務口，確保上下行業務口已關閉進行下一步
6） 遠程登錄到銳捷備機，批量關閉掉銳捷備機上下行業務口，然後迅速console登錄到H3C主設備，將上下行業務口均開起來，該步驟操作一定要快！快！快！否則業務中斷時間會比較長
7） 此時流量已經倒換到H3C主設備，確認下業務是否正常，若正常，進行下一步
8） 現場同學記錄銳捷備機線序，下電銳捷備機
9） 銳捷備機下電後，上架H3C備機，僅接堆疊線纜和MAD檢測線纜，上下行業務口線纜不接
10） 確認H3C主備設備堆疊狀態，MAD檢測均正常，進行下一步
11） 恢復H3C備機上行接口線纜，恢復下行業務口線纜
5、 具體步驟
1） 登陸老銳捷主設備，shutdown上下聯業務口
configure
interface range tenGigabitEthernet 1/0/1 - 48
shutdown
exit
interface range fortyGigabitEthernet 1/0/65 - 68
shutdown
確認銳捷主設備上下行接口已經全部管理DOWN，同時和業務同學確認業務情況，如果沒問題繼續下一步驟
show interface status
回退：
銳捷主設備：
configure
interface range tenGigabitEthernet 1/0/1 - 48
undo shutdown
exit
interface range fortyGigabitEthernet 1/0/65 - 68
undo shutdown
2） 將老銳捷主設備從機櫃下電，上架H3C主設備，上下行接口及管理線先別接（上架前將H3C主設備SN發現場同學覈對下，確認上架的設備爲H3C主設備）
3） H3C主設備上架後，向日葵遠程登錄到H3C主設備，shutdown上下行業務口，並確認H3C主設備上下行接口均已管理DOWN
sys
interface range Ten-GigabitEthernet 1/0/1 to Ten-GigabitEthernet 1/0/48
shutdown
quit
interface range FortyGigE 1/0/49 to FortyGigE1/0/54
shutdown
dis interface brief desc
4） 聯繫現場同學恢復H3C主設備上下行業務口的線（主管理線先別接）
5） 確認下向日葵遠程H3C主設備命令操作是否流暢，如果沒問題，進行下一步
CRT登陸到老銳捷備機上，批量關閉掉老銳捷備機上下行接口，同時，迅速通過向日葵遠程到H3C主設備，將H3C主設備上下行接口開起來，操作要快！！！！！
老銳捷備機：
configure
interface range tenGigabitEthernet 2/0/1 - 48
shutdown
exit
interface range fortyGigabitEthernet 2/0/65 - 68
shutdown
迅速登陸到H3C主設備，將H3C主設備上下行接口開起來（操作一定要快，不然業務中斷的時間會特別長）
sys
interface range Ten-GigabitEthernet 1/0/1 to Ten-GigabitEthernet 1/0/48
undo shutdown
quit
interface range FortyGigE 1/0/49 to FortyGigE1/0/54
undo shutdown
回退：
H3C設備：
sys
interface range Ten-GigabitEthernet 1/0/1 to Ten-GigabitEthernet 1/0/48
shutdown
quit
interface range FortyGigE 1/0/49 to FortyGigE1/0/54
shutdown
銳捷備設備：
configure
interface range tenGigabitEthernet 2/0/1 - 48
undo shutdown
exit
interface range fortyGigabitEthernet 2/0/65 - 68
undo shutdown
6） H3C主設備上下行接口恢復後，確認下物理接口狀態是否正常，接口狀態恢復後，和業務同學確認下業務恢復情況
dis interface brief desc
7） 確認H3C主設備下掛業務均沒問題後，現場同學記錄銳捷備機線序，下電銳捷備機
8） 上架H3C備設備，上下行接口線先別接，將H3C主備設備通過44,46,47,48一 一對應互聯下
9） 確認堆疊正常建立，MAD檢測正常
dis irf
dis irf link
dis mad ver
10） 恢復H3C備機上行接口線纜，恢復下行業務線纜
6、 業務測試
聯繫業務測試，確認下掛業務主機均正常
7、 注意事項
1） H3C設備線下堆疊不成功，可排查如下因素
- 兩臺設備版本是否一致，（通過dis version 命令查看）
- 系統工作模式（通過display system-working-mode命令查看）
- 表項容量（display hardware-resource 命令查看）
- 最大等價路由條數（display max-ecmp-num命令查看）
- IPv4等價路由增強模式（display ecmp mode enhanced命令查看）
2) 出廠情況下H3C V7設備stp功能是開啓的，由於mad檢測和stp功能衝突，配置時將mad檢測接口的stp功能關閉掉（undo stp enable）