HDFS（Hadoop Distributed File System）
Hadoop分佈式文件系統，爲Hadoop這個分佈式計算框架提供高性能、高可靠、高可擴展的存儲服務。
1.1 HDFS系統架構
HDFS的系統架構是典型的主/從架構，包括一個NameNode節點（主節點）和多個DataNode節點（從節點），並提供應用程序訪問接口。NameNode是整個文件系統的管理節點，它負責文件系統名字空間（Namespace）的管理與維護，同時負責客戶端文件操作的控制以及具體存儲任務的管理與分配。
DataNode提供真實文件數據的存儲服務。
1.2 HA （High Availability）定義
HA的定義爲系統對外正常提供服務時間的百分比：MTTF/(MTTF+MTTR)*100%
高可靠性更多的是對系統自身而言，它是系統可靠程度的一個指標，而HA則更多的是從系統對外的角度來說的，除了包含系統正常工作的能力，它還強調系統中止服務後迅速恢復的能力。
1.3 HDFS HA原因分析及應對措施
影響HDFS HA的因素可從可靠性和可維護性兩方面進行分析。
可靠性：由於NameNode只有一個，且負責整個HDFS文件系統的管理和控制，容易造成單點故障（SPOF）。DataNode發生故障時，可以訪問其他DataNode的副本，不會影響HDFS對外正常服務。
可維護性：當NameNode重新啓動時，需要加載磁盤上的元數據文件。所以，NameNode的可維護性取決於元數據的可靠性以及NameNode服務恢復時間。
1.4 現有HDFS HA解決方案
主要是從使用者的角度出發，提高元數據的可靠性，減少NameNode服務恢復時間。
提高元數據的可靠性措施主要是對元數據進行備份。
減少NameNode服務恢復時間的措施主要有兩種思路：
第一種基於NameNode重啓恢復服務的方式，對NameNode自身的啓動過程進行優化。
第二種則是啓動一個NameNode的熱備（Warm standby）節點，發生故障時接替使用。
第一種思路儘管進行了優化，但仍受文件系統規模的限制，第二種則突破了這種限制。
現有比較成熟的HA解決方案：
1、Hadoop的元數據備份方案
利用Hadoop 自身的Failover 措施，將元數據信息保存到多個目錄。通常的做法是選擇一個本地目錄，一個遠程目錄（通過NFS進行共享），當NameNode 發生故障時，可以啓動備用機器的NameNode ，加載遠程目錄的元數據信息，提供服務。
優點：
- Hadoop自帶機制，成熟可靠，使用簡單，無需開發。
- 元數據有多個備份，有效保證元數據的可靠性，並且內容保持最新狀態。
缺點：
- 元數據需要同步寫入多個備份目錄，效率低於單個NameNode 。
- 沒有做到熱備，HDFS恢復服務時，需要重新啓動NameNode ，恢復時間與文件系統規模成正比。
- NFS共享的可靠性問題，且多個目錄中任何一個目錄的保存因爲異常而阻塞，將會導致整個HDFS的操作阻塞。
2、Hadoop的Secondary NameNode 方案
啓動一個Secondary NameNode 節點，定期從NameNode節點上下載元數據信息（元數據鏡像fsimage和元數據操作日誌edits），然後將fsimage和edits合併，生成新的fsimage，在本地保存，並將其推送給NameNode，同時重置NameNode上的edits。
優點：
- Hadoop自帶機制，成熟可靠，使用簡單，無需開發。
- Secondary定期做Checkpoint，可保證各個Checkpoint階段的元數據的可靠性，同時，進行fsimage和edits的合併，有效限制edits的大小，防止其無限增長。
缺點：
- 沒有做到熱備，HDFS恢復服務時，需要重新啓動NameNode ，恢復時間與文件系統規模成正比。
- Secondary NameNode 保存的只是Checkpoint 時刻的元數據，不是最新數據 ，存在一致性問題。
3、Hadoop的Checkpoint Node 方案
Checkpoint Node 方案與Secondary NameNode 的原理基本相同，只是實現方式不同，該方案利用Hadoop的Checkpoint機制進行備份。
4、Haddop的Backup Node 方案
5、DRBD方案
6、Facebook 的Avatarnode 方案
1.5 方案優缺點比較
| 方案名稱 | 切換時間 | 元數據一致性 | 是否做checkpoint | 使用複雜度 | 成熟度 | 相關資料 |
| 元數據備份 | 長 | 一致 | 否 | 低 | 高 | 較多 |
| Secondary NameNode | 長 | 不一定 | 是 | 中 | 高 | 較多 |
| Checkpoint Node | 長 | 不一定 | 是 | 中 | 高 | 較少 |
| Backup Node | 中 | 一致 | 是 | 中 | 中 | 較少 |
| DRBD | 長 | 一致 | 否 | 高 | 高 | 多 |
| AvatarNode | 短 | 一致 | 是 | 高 | 高 | 少 |
