本文結合HDFS的副本和分塊從宏觀上描述HDFS存入文件的整個流程。HDFS體系中包含Client、NameNode、DataNode、SeconderyNameode四個角色，其中Client是客戶端，NN負責管理，DN負責存儲、SN協助管理。
先來看一個官網上的圖
# 圖 0 -HDFS的體系結構
HDFS的副本存儲有如下規則：
1.client將第一副本放到最靠近的一臺DN
2.第二副本優先放到另一個機架
3.以此類推，儘量保證副本放在不同的機架
由於副本和分塊機制的存在，當從本地文件系統向HDFS上傳文件時，其內部的流程相對比較複雜，可以通過下圖及步驟說明進行理解。
# 圖 1-1 -hdfs副本存儲機制（3副本）
A.對於可存於單塊的小文件：
1.client向NN（NameNode）發起存儲請求，
2.NN查找自身是否已有相應的文件，
3.若無則，NN向client返回DN1（DataNode）路徑，
4.client向DN1傳送副本，
5.DN1通過管道異步向DN2傳副本，
6.DN2通過管道異步向DN3傳副本，
7.DN3通知DN2接收完成，
8.DN2通知DN1接收完成，
9.DN1通知NN接收完成。
B.對於需要分塊的大文件：
大致流程同上，但在步驟3NN還會進行塊的劃分，隨後步驟4client會將各塊分別發送到分配的DN執行步驟4~9
從前述可見，在向HDFS傳輸文件的過程中，NameNode節點至關重要。NN負責掌管元數據。其作用相當於物理硬盤中的文件分配表FAT，NN中的數據如果發生丟失，DN中存儲的數據也就沒有了意義。
# 圖 1-2 -NN元數據存儲機制
1.client向NN請求寫，
2.NN將分配block寫入editslog文件，
3.NN響應client，
4.client向DN寫文件，
5.client通知NN寫完成，
6.NN將editslog更新到內存。
ps：常用及最新元數據放在內存，最新元數據放editslog，老元數據放fsimage，editslog寫滿之前將edits log（新元數據）轉換併合併到fsimage。
# 圖 1-3 -edits log合併機制
當editslog寫滿：
1.NN通知SecondryNameNode執行checkpoint操作，
2.NN停止向已滿editslog寫入，
3.NN創建新edits log維持寫入，
4.SN下載NN的fsimage和已滿editslog，
5.SN執行合併生成fsimage。checkpoint，
6.SN向NN上傳fsi。cp，
7.NN將fsi。cp改名fsimage，
8.NN刪除已滿editslog。
# 圖3 -元數據格式：文件全路徑，副本數，塊編號，塊-所在DN的映射。
睿江雲官網鏈接：https://www.eflycloud.com/home?from=RJ0035