大數據環境下的文件系統感想

而對於一些場景，比如虛擬機活動鏡像的存儲，或者說虛擬機硬盤文件的存儲，還有大數據處理等場景，對象存儲就顯得捉襟見肘了。而文件系統在這些領域有突出的表現，比如Nutanix的NDFS（Nutanix Distributed Filesystem）和VMware的VMFS（VMware Filesystem）在虛擬機鏡像存儲方面表現很出色，Google文件系統GFS及其開源實現HDFS被廣泛用於支撐基於MapReduce模型的大數據處理支持得很好，而且能夠很好地支持百GB級、TB級甚至更大文件的存儲。

由此看來文件系統將來的發展趨勢更多的是專用文件系統，而不再是像以前那樣，以前一套Filesystem適用於所有場景，更有一些部分要讓位於對象存儲或者其他存儲形態。

從另一個角度來看，現代對象存儲系統的“甜區”在哪裏：1. 互聯網和類似互聯網的應用場景，這不僅僅是因爲REST風格的HTTP的接口，而且還因爲大多數對象存儲系統在設計上能夠非常方便地進行橫向擴展以適應大量用戶高併發訪問的場景；2. 海量十KB級到GB級對象/文件的存儲，小於10KB的數據更適用於使用K/V數據庫，而大於10GB的文件最好將其分割爲多個對象並行寫入對象存儲系統中，多數對象存儲系統都有單個對象大小上限的限制。所以，如果應用具有上述兩種特點，對象存儲是首選。

也有人在對象存儲上做出進一步的開發或者改進，使其能夠很好地支持歸檔備份、MapReduce大數據處理等場景，甚至將對象存儲的接口轉爲文件系統接口；反之，OpenStack Swift等對象存儲系統也支持使用GlusterFS等通用文件系統作爲存儲後端。人們爲什麼會在這些對象存儲和文件系統相互轉換的技術上進行人力和資金的投入？這些做法的意義何在？應該在什麼時候使用這些技術？