高可用腦裂問題

在“雙機熱備”高可用（HA）系統中，當聯繫2個節點的“心跳線”斷開時，本來爲一整體、動作協調的HA系統，就分裂成爲2個獨立的個體。由於相互失去了聯繫，都以爲是對方出了故障，2個節點上的HA軟件像“裂腦人”一樣，“本能”地爭搶“共享資源”、爭起“應用服務”，就會發生嚴重後果：或者共享資源被瓜分、2邊“服務”都起不來了；或者2邊“服務”都起來了，但同時讀寫“共享存儲”，導致數據損壞（常見如數據庫輪詢着的聯機日誌出錯）。
運行於備用主機上的Heartbeat可以通過以太網連接檢測主服務器的運行狀態，一旦其無法檢測到主服務器的“心跳”則自動接管主服務器的資源。通常情況下，主、備服務器間的心跳連接是一個獨立的物理連接，這個連接可以是串行線纜、一個由“交叉線”實現的以太網連接。Heartbeat甚至可同時通過多個物理連接檢測主服務器的工作狀態，而其只要能通過其中一個連接收到主服務器處於活動狀態的信息，就會認爲主服務器處於正常狀態。從實踐經驗的角度來說，建議爲Heartbeat配置多條獨立的物理連接，以避免Heartbeat通信線路本身存在單點故障。
1、串行電纜：被認爲是比以太網連接安全性稍好些的連接方式，因爲hacker無法通過串行連接運行諸如telnet、ssh或rsh類的程序，從而可以降低其通過已劫持的服務器再次侵入備份服務器的機率。但串行線纜受限於可用長度，因此主、備服務器的距離必須非常短。
2、以太網連接：使用此方式可以消除串行線纜的在長度方面限制，並且可以通過此連接在主備服務器間同步文件系統，從而減少了從正常通信連接帶寬的佔用。
基於冗餘的角度考慮，應該在主、備服務器使用兩個物理連接傳輸heartbeat的控制信息；這樣可以避免在一個網絡或線纜故障時導致兩個節點同時認爲自已是唯一處於活動狀態的服務器從而出現爭用資源的情況，這種爭用資源的場景即是所謂的“腦裂”（split-brain）或“partitioned cluster”。在兩個節點共享同一個物理設備資源的情況下，腦裂會產生相當可怕的後果。
爲了避免出現腦裂，可採用下面的預防措施：
添加冗餘的心跳線，例如雙線條線。儘量減少“裂腦”發生機會。
啓用磁盤鎖。正在服務一方鎖住共享磁盤，“裂腦”發生時，讓對方完全“搶不走”共享磁盤資源。但使用鎖磁盤也會有一個不小的問題，如果佔用共享盤的一方不主動“解鎖”，另一方就永遠得不到共享磁盤。現實中假如服務節點突然死機或崩潰，就不可能執行解鎖命令。後備節點也就接管不了共享資源和應用服務。於是有人在HA中設計了“智能”鎖。即，正在服務的一方只在發現心跳線全部斷開（察覺不到對端）時才啓用磁盤鎖。平時就不上鎖了。
設置仲裁機制。例如設置參考IP（如網關IP），當心跳線完全斷開時，2個節點都各自ping一下 參考IP，不通則表明斷點就出在本端，不僅“心跳”、還兼對外“服務”的本端網絡鏈路斷了，即使啓動（或繼續）應用服務也沒有用了，那就主動放棄競爭，讓能夠ping通參考IP的一端去起服務。更保險一些，ping不通參考IP的一方乾脆就自我重啓，以徹底釋放有可能還佔用着的那些共享資源。