aws----塊存儲efs的全面瞭解

efs簡介

Amazon Elastic File System

可擴展的、彈性原生雲 NFS 文件系統,每月 0.08 USD/GB

Amazon EFS 是一項完全託管的服務,讓您可以輕鬆地在 Amazon 雲中設置和擴展文件存儲,並對其進行成本優化。只需在 AWS 管理控制檯中單擊幾次,您就可以創建文件系統,供 Amazon EC2 實例通過文件系統界面(使用標準操作系統文件 I/O API)訪問,且支持完整的文件系統訪問語義(例如強一致性和文件鎖定)。

Amazon EFS 文件系統可以自動將數據容量從 GB 級擴展到 PB 級,無需預置存儲。數十、數百甚至數千個 Amazon EC2 實例可以同時訪問一個 Amazon EFS 文件系統,且 Amazon EFS 可以爲每個 Amazon EC2 實例提供穩定的性能。Amazon EFS 具有極高的持久性和可用性。Amazon EFS 沒有最低費用和設置成本,您只需按實際使用量付費。

Amazon Elastic File System (Amazon EFS) 可提供簡單、可擴展、完全託管的彈性 NFS 文件系統,以與 AWS 雲服務和本地資源配合使用。它可在不中斷應用程序的情況下按需擴展到 PB 級,隨着添加或刪除文件自動擴展或縮減,無需預置和管理容量,可自適應增長。

Amazon EFS 提供兩種存儲類:標準存儲類和不頻繁訪問存儲類 (EFS IA)。EFS IA 提供針對每天未訪問的文件進行了成本優化的性價比。只需在文件系統上啓用 EFS 生命週期管理,根據您選擇的生命週期策略,未被訪問的文件將自動且透明地遷移到 EFS IA。EFS IA 存儲類僅需每月 0.025 USD/GB*。

雖然工作負載模式各不相同,但客戶通常會發現 80% 的文件很少被訪問(適用於 EFS IA),而 20% 的文件則被頻繁使用(適用於 EFS 標準),因此有效存儲成本低至每月 0.08 USD/GB*。Amazon EFS 透明地爲公共文件系統命名空間中的兩個存儲類文件提供服務。

Amazon EFS 旨在爲數千個 Amazon EC2 實例提供大規模並行共享訪問模式,可讓您的應用程序在一致、低延遲的狀態下實現高水平的總吞吐量和 IOPS。

Amazon EFS 非常適合支持從主目錄到業務關鍵型應用程序在內的各種使用案例。客戶可以使用 EFS 將現有企業應用程序直接遷移到 AWS 雲。其他使用案例包括:大數據分析、Web 服務和內容管理、應用程序開發和測試、媒體和娛樂工作流程、數據庫備份和容器存儲。

Amazon EFS 是一種用於在多個可用區 (AZ) 中存儲數據以提供高可用性和持久性的區域服務。Amazon EC2 實例可以跨 AZ、區域和 VPC 訪問文件系統,而本地服務器可以使用 AWS Direct Connect 或 AWS VPN 訪問。

特點

POSIX 標準的共享文件存儲

Amazon EFS 通過 NFSv4 協議使用傳統的文件權限模型、文件鎖定功能和分層目錄結構同時爲 Amazon EC2 實例和本地服務器的數千個連接提供安全訪問。Amazon EC2 實例可以跨 AZ、區域和 VPC 訪問文件系統,而本地服務器可以使用 AWS Direct Connect 或 AWS VPN 訪問。

可擴展的性能

Amazon EFS 旨在提供 Linux 工作負載所需的吞吐量、IOPS 和低延遲。吞吐量和 IOPS 隨着文件系統的增長而擴展,並可以在短時間內突增至更高的吞吐量級別,以支持文件工作負載不可預測的性能需求。對於要求最苛刻的工作負載,Amazon EFS 可以支持超過 10GB/秒以及超過 500,000 IOPS 的性能。

動態彈性

Amazon EFS 可在您添加或刪除文件時自動、即時地對文件系統存儲容量進行擴展或縮減而不中斷應用程序,根據您的所需動態提供存儲容量。您只需創建文件系統,然後開始添加文件,而無需提前預置存儲。

完全託管

Amazon EFS 是一項完全託管的服務,爲 Linux 工作負載提供共享的文件系統存儲。它提供簡單的界面,讓您可以快速創建和配置文件系統,併爲您管理文件存儲基礎設施,從而避免了部署、修補和維護文件系統的基礎帶來的複雜性。

經濟高效

藉助 Amazon EFS 存儲,您只需按實際用量付費。無需提前配置存儲,也沒有最低購買或前期費用要求。藉助 EFS 生命週期管理,您可以將不經常訪問的文件自動移動到成本優化型存儲類,使文件存儲成本降低高達 92%。 您還可以使用 AWS 預算來監控文件系統成本。

安全性與合規性

Amazon EFS 可讓您使用現有的安全基礎設施安全地訪問文件。使用 POSIX 權限、Amazon VPC 和 AWS IAM 控制對 Amazon EFS 文件系統的訪問。通過加密靜止和傳輸狀態的數據對其進行保護。Amazon EFS 還滿足多個資格和合規性要求,以幫助您滿足法規要求。

使用流程

在這裏插入圖片描述

使用場景

Amazon EFS 旨在爲廣泛的工作負載和應用程序提供性能,其中包括大數據和分析、媒體處理工作流、內容管理、Web 服務和主目錄。

直接遷移企業應用程序

Amazon EFS 具有較高的可擴展性、彈性、可用性和持久性,因而可以用作企業應用程序和以服務形式交付的應用程序的文件存儲。利用其標準文件系統界面、文件系統權限和目錄層次結構,您可以輕鬆地將企業應用程序從本地遷移到 AWS 雲中,或者構建新應用程序。

分析與機器學習

Amazon EFS 提供機器學習和大數據分析工作負載所需的易用性、擴展性、性能和一致性。數據科學家可以使用 EFS 創建可提供主目錄存儲筆記本文件、培訓數據和模型構件的個性化環境。Amazon SageMaker 與 EFS 集成,用於培訓工作,使數據科學家能夠快速迭代。

Web 服務和內容管理

Amazon EFS 爲內容管理系統和 Web 服務應用程序提供持久的高吞吐量文件系統,這些內容管理系統和應用程序爲各種應用(如網站、在線出版物和存檔)存儲和提供信息。由於 Amazon EFS 遵循 Web 開發人員習慣使用的常規文件系統目錄結構、文件命名約定和權限,因此它可以與 Web 應用程序輕鬆集成。

應用程序測試和開發

Amazon EFS 爲您的開發環境提供通用的存儲庫,讓您能夠以安全有序的方式共享代碼及其他文件。只需單擊幾下,您便可以配置、複製、擴展或存檔測試、開發和生產環境,這讓組織能夠更靈活、更快速地滿足客戶需求。Amazon EFS 提供了一種可擴展且高度可用的解決方案,非常適合測試和開發工作負載。

媒體與娛樂

視頻編輯、影音製作、廣播處理、聲音設計和渲染等媒體工作流通常依賴於共享存儲來操作大型文件。Amazon EFS 提供具有高吞吐量和共享文件訪問的強數據一致性模型,它可以縮短執行這些作業所需的時間,並將多個本地文件存儲庫整合到一個位置以供所有用戶使用。

數據庫備份

Amazon EFS 提供可使用 NFSv4 從數據庫服務器輕鬆掛載的標準文件系統。這爲使用原生應用程序工具或企業備份應用程序創建便攜式數據庫備份提供了理想平臺。許多企業希望利用在雲中存儲數據庫備份的靈活性,作爲更新期間的臨時保護或進行開發和測試。

容器存儲

Amazon EFS 非常適合提供對通用文件存儲庫的持久共享訪問的容器存儲。容器是構建微服務過程中不可或缺的組成部分,因爲它們可快速預置,容易移植,並提供進程隔離。每次啓動時都需要訪問原始數據的容器可以利用共享文件系統,這樣無論它們在哪個實例上運行,都可以連接到該文件系統。

使用案例

使用efs的企業很多,比如:

BBC 使用共享文件存儲將 Red Button 應用程序遷移到 AWS 雲
通過使用 Amazon EFS 共享文件,BBC 得以構建一個敏捷且成本高效的解決方案,將其本地 Red Button 互動電視服務遷移到 AWS 雲。藉助 Amazon EC2、Amazon EFS、Amazon SNS、Amazon SQS 和 Amazon Kinesis 等服務,該公司得以按時按預算完成其完整應用程序的遷移。

更多企業使用場景參考官網

在這裏插入圖片描述

Amazon EFS、Amazon S3 以及Amazon Elastic Block Store (EBS) 的區別和使用場景

Amazon Web Services (AWS) 提供多種雲存儲服務來支持各種存儲工作負載。

Amazon EFS 是一項可與 Amazon EC2 配合使用的文件存儲服務。Amazon EFS 可以提供文件系統界面、文件系統訪問語義(例如強一致性和文件鎖定)以及可供多達數千個 Amazon EC2 實例同時訪問的存儲。

Amazon EBS 是一項可與 Amazon EC2 配合使用的數據塊級存儲服務。對於需要從單個 EC2 實例低延遲訪問數據的工作負載,Amazon EBS 可爲其提供高性能服務。

Amazon S3 是一項對象存儲服務。Amazon S3 通過可以在任何地方訪問的 Internet API 來提供數據訪問。

AWS S3對於靜態頁面的託管、多媒體分發、版本管理、大數據分析、數據存檔來說都非常有用。S3可以和AWS CloudFront結合使用而達到更快的上傳和下載速度。

AWS EBS是可以用來做數據庫或託管應用程序的持續性文件系統,EBS具有很高的IO讀寫速度並且即插即用。

相比前面兩種存儲,AWS EFS是比較新的一項服務。它提供了可以在多個EC2實例之間共享的網絡文件系統,功能類似於NAS設備。可以用EFS來處理大數據分析、多媒體處理和內容管理。

下面是三種系統的詳細對比:

特性 Amazon S3 EBS EFS
存儲類型 對象存儲 塊存儲 塊存儲
存儲大小 沒有限制 最大爲16TB 沒有限制
單個文件大小限制 0字節~5TB 沒有限制 最大52TB
IO吞吐量 支持multipart上傳

如果使用single object upload,單個文件大小限制爲5GB

可以選擇HDD或者SSD的磁盤類型,以提供不同的IO 默認3GB
訪問 能通過因特網訪問 只能被單個EC2實例訪問 可以被上千個EC2實例同時訪問
可用性 99.99% 99.99% 高度可用(官方沒有公佈相關數據)
速度比較 最慢 最快 中等
價格 最便宜 中等 最貴

在真正採用某一種AWS存儲類型的時候,需要考慮到上面的這些參數,以及真實的使用場景。每一種存儲類型都有自己最適用的使用場景,都能最大化地發揮自己優勢。

如何開始使用efs

要使用 Amazon EFS,您必須擁有 AWS 賬戶。如果還沒有 AWS 賬戶,您可以註冊一個 AWS 賬戶並立即享受 AWS 免費套餐。

創建 AWS 賬戶之後,請參閱 Amazon EFS 入門指南,開始使用 Amazon EFS。您可以通過 AWS 管理控制檯、AWS 命令行界面 (AWS CLI) 和 Amazon EFS API(以及各種語言的軟件開發工具包)來創建文件系統。

我們將在後續的文章中記錄 使用的步驟。

efs使用的協議nfsv4

要訪問您的文件系統,您需要使用標準 Linux 掛載命令和文件系統的 DNS 名稱將文件系統掛載到基於 Linux 的 Amazon EC2 實例上。爲了簡化對 EFS 文件系統的訪問,我們建議使用 EFS 掛載助手實用程序。 掛載完成後,您就可以像使用本地文件系統一樣,使用您文件系統中的文件和目錄。

Amazon EFS 使用網絡文件系統版本 4 (NFS v4) 協議。

我們將在後續的文章中記錄 使用的步驟。

Amazon EFS 支持哪些類型的 Amazon EC2 實例和 AMI

Amazon EFS 與適用於 Amazon EC2 的所有基於 Linux 的 AMI 兼容。您可以將不同類型的實例關聯到一個文件系統。

如何管理文件系統?

Amazon EFS 是一項完全託管的服務,因此所有文件存儲基礎設施均由aws爲我們管理。使用 Amazon EFS,不需要部署和維護複雜的文件系統基礎設施。Amazon EFS 文件系統可以隨着增減文件的操作自動進行擴展和收縮,因此不需要進行存儲的採購和預配置工作。

可以通過 AWS 管理控制檯、AWS 命令行界面 (CLI) 或 Amazon EFS API(以及各種語言的軟件開發工具包)來管理文件系統。通過控制檯、API 和軟件開發工具包,可以創建和刪除文件系統、配置文件系統的訪問方式、創建和編輯文件系統標籤、啓用預置吞吐量和生命週期管理等功能,以及顯示文件系統的詳細信息。

如何把老數據轉移到EFS中

AWS DataSync 提供一種快速而簡單的方法,可將現有文件系統與 Amazon EFS 安全同步。 DataSync 適用於任何網絡連接,包括 AWS Direct Connect 或 AWS VPN。AWS Direct Connect 提供了一個高帶寬、低延遲的專用網絡連接,您可以通過它掛載 EFS 文件系統。可以使用 AWS DataSync 在兩個 EFS 文件系統之間複製文件,包括不同 AWS 區域中的文件系統或屬於不同 AWS 賬戶的文件系統。

您也可以使用標準 Linux 複製工具將數據文件移至 Amazon EFS。

EFS的存儲類型和性能價格區別

Amazon EFS 提供哪些存儲類?

Amazon EFS 提供標準和不經常訪問存儲類。標準存儲類是爲活動文件系統工作負載而設計的,您只需爲每月使用的文件系統存儲付費。EFS 不頻繁訪問 (EFS IA) 是一種成本較低的存儲類,針對不經常訪問的文件進行了成本優化。存儲在 EFS IA 存儲類中的數據成本比標準存儲類低 85%,每次讀取或寫入文件時都需要支付費用。EFS 文件系統透明地提供來自兩個存儲類的數據。

如何將文件移動到 EFS IA?

啓用 EFS 生命週期管理並選擇一種年齡策略即可將文件移動到 EFS IA。生命週期管理會根據您選擇的生命週期策略自動將您的數據轉移到 EFS IA 存儲類。例如,如果數據十四天未被訪問,您可以自動將文件移動到 EFS IA。
問:我什麼時候應該啓用生命週期管理?

當文件系統包含不需要每天訪問的文件時,可以啓用生命週期管理,以降低存儲成本。EFS IA 是 EFS 客戶的理想選擇,他們需要可以隨時訪問其完整數據集,並希望自動節省存儲成本,因爲他們訪問文件的頻率較低。示例包括滿足審覈、執行歷史分析或備份和恢復。

禁用 EFS 生命週期管理時會發生什麼?

禁用生命週期管理時,文件將不再移動到不經常訪問存儲類,並且已移至 EFS IA 的所有文件將保留在該位置。

使用 EFS IA 存儲類時支持哪些 Amazon EFS 功能?

在使用 EFS IA 存儲類時支持所有 Amazon EFS 功能。 小於 128KiB 的文件不符合生命週期管理的條件,並且始終存儲在 EFS 標準中。

EFS 標準和 EFS 不經常訪問存儲類之間延遲是否存在差異?

在讀取或寫入 EFS IA 時,您的第一字節延遲會高於 EFS 標準。EFS 標準旨在提供個位數的平均延遲,而 EFS IA 旨在提供兩位數的平均延遲。
問:我可以針對存儲在 EFS 不經常訪問存儲類中的文件實現多大吞吐量?

您可以針對 EFS 文件系統實現的吞吐量與 EFS 標準存儲類中存儲的數據量成線性比例。所有 EFS 文件系統,不管其大小如何,都能突增到 100 MiB/秒的吞吐量。對於超過 1 TiB 標準存儲的文件系統,存儲在 EFS 標準上的每 TiB 數據可以突增到 100 MiB/秒。如果您需要超過文件系統允許的 EFS IA 吞吐量,請使用 EFS 預配置吞吐量。

AWS EFS是一個低成本的、簡單易用的雲原生NFS文件存儲系統,能提供很好的彈性存儲能力,擴展性什麼的,EFS本身就有很好的容錯性設計,能提供很好的一致性存儲服務。最明顯缺點可能就是價格有點貴。

EFS的免費容錯性設計,跨越us-west region的同處一個vpc的四個az。

AWS給出的數據和IDC給出的數據都顯示,只有20%的數據是需要經常訪問的,80%的數據都不是經常訪問的,又是一個經典的28定律,這說明存儲分層的必要性。

EFS通過生命週期管理進行分層存儲優化成本,EFS的生命週期管理在後臺運行,按照設定的規則來運行後,符合規則的數據會自動遷移到EFS IA存儲上,對應用來說,這些操作都是透明的,對用戶來說,設定策略的操作很簡單。

EFS IA本身跨越多個存儲分層,但訪問性方面還不錯,與原來的EFS相比沒有太多變化,唯一變化的是延遲高了點,原來是幾ms,現在是幾十ms,差異就好比磁盤跟SSD的區別,需要注意的是,原來的應用不需要任何更改,因爲應用訪問的還是原來的命名空間。

AWS標準的EFS的話現在每月每GB需要0.3美金,今年二月份有了EFS IA之後,每月每GB需要0.045美金,而現在能降到每月每GB0.025美金。

算一筆賬,如果有100TB的數據要存,按照28定律來算,20TB使用標準的EFS,那就是6000美金,80TB用EFS IA的,那就是2000美金,算下來一共需要8000美金,平均每GB每個月就是0.8美金。

使用標準的EFS的話,成本是3萬美金,差了2.2萬美金呢,節省的錢很可觀。

數據保護和可用性

Amazon EFS 如何實現高度的持久性和可用性?

每個文件系統對象(即目錄、文件和鏈接)均會在多個可用區中進行冗餘存儲。此外,文件系統還可以從其所在區域中的各個可用區同時訪問,這意味着您在構建應用程序時,可以使其從區域中的一個可用區故障轉移到其他可用區,從而確保應用程序的高可用性。掛載目標本身即具有高可用性。

Amazon EFS 是否提供服務等級協議 (SLA)?

是。如果客戶的月度正常運行時間百分比在任何賬單週期內都低於我們的服務承諾,Amazon EFS SLA 將提供服務積分。

如何備份文件系統?

Amazon EFS 具有極高的持久性。您可以使用 AWS Backup 來安排 Amazon EFS 文件系統的自動增量式備份。有關更多信息,請參閱 Amazon EFS 演練:適用於 Amazon EFS 文件系統的備份解決方案。

如何從 VPC 外訪問文件系統?

您 VPC 內的 Amazon EC2 實例可以直接訪問您的文件系統,而 VPC 外的 Amazon EC2 Classic 實例可以通過 ClassicLink 掛載文件系統。如果使用 VPC 對等連接或 VPC 傳輸網關連接,其他 VPC 中的 Amazon EC2 實例可以訪問您的文件系統。本地服務器可以通過 AWS Direct Connect 或 AWS VPN 連接將文件系統掛載到 VPC。

規模和性能

我可以存儲多少數據?

Amazon EFS 文件系統可以存儲數 PB 數據。Amazon EFS 文件系統具有彈性,可以隨着您增減文件的操作自動進行擴展和收縮。您不需要預置文件系統的大小,只需按實際使用量付費。
問:一個文件系統可以連接多少個 Amazon EC2 實例?

Amazon EFS 支持一個到數千個 Amazon EC2 實例同時連接一個文件系統。

我可以創建多少個文件系統?

每個區域最多可創建 1000 個文件系統。有關 Amazon EFS 限制的信息,請訪問 Amazon EFS 限制頁面。

與其他存儲解決方案相比,Amazon EFS 的性能如何?

Amazon EFS 文件系統分佈在任意數量的存儲服務器上,使文件系統可以彈性擴展到 PB 級,並支持從多個 Amazon EC2 實例大規模並行訪問數據。Amazon EFS 的分佈式設計可以避免傳統文件服務器固有的瓶頸和限制。

該分佈式數據存儲設計意味着,多線程應用程序和從多個 Amazon EC2 實例同時訪問數據的應用程序可以推動實現極高的總吞吐量和 IOPS。這些應用程序可以是大數據及分析工作負載、媒體處理工作流程、內容管理以及 Web 服務。

下表簡要對比了 AWS 的文件和數據塊雲存儲產品的性能和存儲特性。

Amazon EFS Amazon EBS (io1)
每次操作的延遲 低且穩定 最低且穩定
吞吐量級別 每秒多 GB 每秒單 GB

Amazon EFS 的分佈式特性可以實現高水平的可用性、持久性和可擴展性。這種分佈式架構使得每次文件操作的延遲開銷都較低。由於每次操作的延遲都較低並且延遲開銷會分攤到更多的數據上,因此總吞吐量通常會隨着平均 I/O 大小的增加而提高。Amazon EFS 支持高度並行化的工作負載(即從多個線程和多個 EC2 實例執行一致操作),因而可實現非常高的總吞吐量和 IOPS。
問:“一般用途”和“最大 I/O”這兩種性能模式有什麼區別? 我應該使用哪一種?

“一般用途”性能模式適用於大多數文件系統,是您創建文件系統時默認選擇的模式。“最大 I/O”性能模式適用於數十、數百或數千個 EC2 實例訪問文件系統的情況,系統的總吞吐量和每秒操作次數都會增加,但文件操作延遲會稍微提高。有關更多信息,請參閱有關文件系統性能的文檔。
問:文件系統支持多高的吞吐量?

文件系統的吞吐量隨着文件系統規模的擴大而增加。由於基於文件的工作負載通常會在短時間內突增,在特定時段內需要較高的吞吐量,在其餘時間則需要較低的吞吐量,因此 Amazon EFS 設計具有突增功能,可在特定時段內提供高吞吐量。所有文件系統的穩定基準性能爲每 TB 標準類存儲 50MB/s,所有文件系統(無論大小)均可以突增至 100MB/s,而標準類存儲大於 1TB 的文件系統均可以突增至每 TB 100MB/s。當您向文件系統中添加數據時,文件系統的最大吞吐量會隨着您在 Amazon EFS 標準存儲類中的存儲量自動線性擴展。

連接到一個文件系統的所有 Amazon EC2 實例可以共享文件系統的吞吐量。例如,一個吞吐量能夠突增至 100MB/s 的 1TB 文件系統支持單個 Amazon EC2 實例使用 100MB/s 的吞吐量,或者 10 個 Amazon EC2 實例共同使用 100MB/s 的吞吐量。有關更多信息,請參閱有關文件系統性能的文檔。

預置吞吐量

什麼是預置吞吐量?應在何時使用?

預置吞吐量使 Amazon EFS 客戶能夠預置文件系統的吞吐量(無需考慮存儲的數據量),從而優化文件系統的吞吐性能,以滿足應用程序的需求。

注意是用來給efs加速的。默認的efs速度是 每 GB 50KB/s 吞吐量的基準速率,如果我們對吞吐的速度有更高的要求的花,就需要選用 預置吞吐量進行設置。

Amazon EFS 預置吞吐量適用於吞吐量 (MB/s) 與存儲 (TB) 比率較高的應用程序。例如,如果客戶將 Amazon EFS 用於開發工具、Web 服務或內容管理應用程序(在這種情況下,相對於吞吐量需求而言,文件系統中的數據量較小),則能立即獲得應用程序所需的高水平吞吐量。

您可以通過 AWS 控制檯、AWS CLI 或 AWS API 選擇文件系統的吞吐量模式。有關更多詳情,請參閱有關預置吞吐量的文檔。

Amazon EFS 預置吞吐量如何運作?

如果您爲文件系統選擇預置吞吐量模式,則可預置文件系統的吞吐量,而無需考慮存儲的數據量,並單獨爲存儲和預置吞吐量付費(例如,在美國東部 [弗吉尼亞北部],每月每 GB 標準存儲 0.30 USD,每月每 MB/s 預置吞吐量 6.00 USD)。

如果您選擇默認的突增吞吐量模式,文件系統的吞吐量將隨着 Amazon EFS 標準存儲類中存儲的數據量線性擴展。在默認的突增吞吐量模式下,標準存儲價格包含每 GB 50KB/s 吞吐量的基準速率。

在預置吞吐量模式下,標準存儲價格也包含每 GB 50KB/s(每 20GB 1MB/s)吞吐量的基準速率。例如,如果您一個月在 Amazon EFS 標準上存儲 20GB,並配置 5MB/s 的吞吐量,則將按每月 20GB 的存儲和 4 (5-1) MB/s 的吞吐量付費。

在預置吞吐量模式下,我將如何付費?

在預置吞吐量模式下,您將按使用的存儲量和預置的吞吐量單獨付費。您需要採用以下維度按小時付費:

存儲(每月 GB 數) – 您需要按您使用的存儲量(每月 GB 數)付費。
吞吐量(每月 MB/s 數) – 您需要按您預置的吞吐量(每月 MB/s 數)付費。

我多長時間可以更改一次文件系統的預置吞吐量?

如果您的文件系統處於預置吞吐量模式,您可以根據需要隨時增加文件系統的預置吞吐量。您可以在預置吞吐量模式下降低文件系統的吞吐量,或者在預置吞吐量模式和默認的突增吞吐量模式之間進行更改,但前提是距離上次降低或吞吐量模式更改超過 24 小時。

如果預置吞吐量模式設置的吞吐量比我在突增模式下有權獲得的基準吞吐量少,那麼我的文件系統的吞吐量是多少?

在默認的突增吞吐量模式下,文件系統的吞吐量將隨存儲的數據量增長而擴展。如果在預置吞吐量模式下的文件系統在初始配置之後大小有所增長,那麼該文件系統在突增吞吐量模式下的基準速率可能比預置吞吐量模式要高。

在這種情況下,文件系統的吞吐量將是您在默認的突增吞吐量模式下有權獲得的吞吐量,並且您不會爲超出突增存儲成本的吞吐量支付任何額外費用。您還能根據 Amazon EFS 吞吐量突增模式進行突增。

訪問控制

如何控制哪些 Amazon EC2 實例可以訪問我的文件系統?

您可以 VPC 安全組規則和 AWS Identity and Access Management (IAM) 策略來控制哪些 EC2 實例可以訪問您的文件系統。使用 VPC 安全組來控制進出文件系統的網絡流量。將 IAM 策略附加到文件系統,以控制哪些客戶端可以掛載文件系統,以及具有哪些權限,並使用 EFS 接入點來管理應用程序訪問。通過設置符合 POSIX 標準的用戶和用戶組權限來控制對文件和目錄的訪問。

如何使用 IAM 策略來管理文件系統訪問權限?

藉助 EFS 控制檯,您可以將常見策略應用到文件系統,如禁用根訪問權限、強制執行只讀訪問或者強制對文件系統的所有連接加密。此外,您還可以應用更高級的策略,例如向特定 IAM 角色(包括其他 AWS 賬戶中的角色)授予訪問權限。

接入點

什麼是 EFS 接入點?

EFS 接入點簡化了爲 EFS 文件系統中的共享數據集提供應用程序訪問權限的流程。EFS 接入點可與 AWS IAM 配合工作,並強制爲通過接入點發出的所有文件系統請求使用操作系統用戶和組以及目錄。您可以爲每個文件系統創建多個接入點,並使用這些接入點來提供特定應用程序的訪問權限。

爲什麼應該使用 EFS 接入點?

EFS 接入點提供了一種在 NFS 環境中管理應用程序訪問權限的靈活方式,具有更好的可擴展性、安全性和易用性。可從 EFS 接入點受益的使用案例包括基於容器的環境(開發人員構建和部署自己的容器)、需要訪問生產數據的數據科學應用程序、以及與其他 AWS 賬戶共享文件系統中的特定目錄。

EFS 接入點的工作原理是什麼?

在創建 EFS 接入點時,您可以爲使用該接入點的所有連接配置操作系統用戶和組,以及根目錄。如果您指定根目錄的擁有者,則 EFS 將使用您在客戶端第一次連接到接入點時提供的權限自動創建根目錄。此外,您還可以更新文件系統的 IAM 策略以應用於接入點。例如,您可以應用需要特定 IAM 身份的策略來連接到指定的接入點。有關更多信息,請參閱 EFS 用戶指南。

加密

什麼是 Amazon EFS 加密?

Amazon EFS 提供對靜態數據和動態數據進行加密的能力。

數據在靜態時以透明的方式加密,在讀取時以透明的方式解密,因此您無需修改應用程序。加密密鑰由 AWS Key Management Service (KMS) 託管,無需構建和維護安全的密鑰管理基礎設施。

動態數據加密使用行業標準傳輸層安全協議 (TLS) 1.2 來加密在客戶端和 EFS 文件系統之間發送的數據。

靜態和動態數據加密可以一起配置或單獨配置,以幫助滿足您特殊的安全要求。

有關更多詳細信息,請參閱關於加密的用戶文檔。

什麼是 AWS Key Management Service (KMS)?

AWS KMS 管理 EFS 文件系統上加密的靜態數據的加密密鑰。 AWS KMS 是一項託管服務,可讓您輕鬆創建和控制加密數據所用的加密密鑰。AWS Key Management Service 可與 AWS 產品集成(包括 Amazon EFS、Amazon EBS 和 Amazon S3),讓您可以使用您管理的加密密鑰輕鬆加密數據。 AWS Key Management Service 還可與 AWS CloudTrail 集成,爲您提供所有密鑰的使用記錄,幫助您滿足監管和合規性要求。

如何爲 Amazon EFS 文件系統啓用加密?

您可以在 EFS 控制檯啓用靜態加密,或者使用 AWS CLI 或開發工具包啓用加密。在 EFS 控制檯中創建新的文件系統時,單擊“Create File System”,然後單擊相應的複選框啓用加密。

通過使用 EFS 掛接助手,您可以在 Amazon EFS 文件系統與其客戶端之間進行動態加密。

靜態和動態數據加密可以一起配置或單獨配置,以幫助滿足您特殊的安全要求。

有關更多詳細信息,請參閱關於加密的用戶文檔。

加密是否會影響 Amazon EFS 的性能?

加密數據對 I/O 延遲和吞吐量的影響微乎其微。

本地訪問

如何從本地數據中心中的服務器訪問 EFS 文件系統?

要從本地訪問 EFS 文件系統,您必須在您的本地數據中心和 Amazon VPC 之間建立 AWS Direct Connect 或 AWS VPN 連接。

您可以使用標準 Linux 掛載命令將 EFS 文件系統掛載到您的本地 Linux 服務器,該命令通過 NFSv4.1 協議掛載文件系統。

有關從本地服務器訪問 EFS 文件系統的更多信息,請參閱文檔。

如果能夠從本地服務器訪問 EFS 文件系統,我可以做些什麼?

您可以將您的 Amazon EFS 文件系統掛載到您的本地服務器,並可以使用標準 Linux 工具和腳本或 AWS DataSync 將文件數據移入和移出 Amazon EFS。將文件數據移入和移出 Amazon EFS 文件系統的功能支持以下三種使用案例。

第一種,您可以將數據從本地數據中心遷移到 Amazon EFS 文件系統,並且永久駐留其中。

第二種,您可以支持雲突增工作負載,以將您的應用程序處理分流到雲中。您可以將數據從您的本地服務器移動到 EFS 文件系統,然後在 Amazon VPC 中 EC2 實例的一個羣集上對其進行分析,並將結果永久存儲在您的 EFS 文件系統中或將結果遷移回您的本地服務器。

第三種,您可以定期將您的本地文件數據複製到 EFS,以支持備份和災難恢復情況。

是否可以同時從本地數據中心服務器和 Amazon EC2 實例訪問 Amazon EFS 文件系統?

可以,您可以同時從您的本地數據中心服務器和 Amazon VPC 中的 Amazon EC2 實例訪問 Amazon EFS 文件系統。在訪問文件系統的所有 EC2 實例和本地服務器之間,Amazon EFS 提供相同的文件系統訪問語義,比如數據強一致性和文件鎖定。

將文件數據移入和移出本地服務器時,有哪些建議的最佳實踐?

由於遠距離傳輸數據存在傳播延遲,因此您的本地數據中心和 Amazon VPC 之間的網絡連接可能存在幾十毫秒的網絡延遲。如果您的文件操作已經實現了序列化,則網路連接的延遲將直接影響您的讀取和寫入吞吐量;實際上,您在一段時間內可以讀取或寫入的數據量受限於完成每次讀取和寫入操作所需的時間。要最大限度地提高吞吐量,您可以並行執行文件操作,以便 EFS 可以同時處理多個讀取和寫入操作。您可以藉助 GNU Parallel 等標準工具並行執行文件數據的複製操作。有關更多信息,請參閱在線文檔。

如何將現有數據從本地文件存儲複製到 Amazon EFS?

有許多方法可將現有本地數據複製到 Amazon EFS 中。AWS DataSync 提供一種快速簡單的方式,可將現有文件系統安全地同步到 Amazon EFS,並適用於任何網絡,包括 AWS Direct Connect

AWS Direct Connect 提供了一個高帶寬、低延遲的專用網絡連接,您可以通過它掛載 Amazon EFS 文件系統。完成安裝後,您可以使用 DataSync 將數據複製到 Amazon EFS,速度比標準 Linux 複製工具快 10 倍。

有關 AWS DataSync 的更多信息,請參閱本常見問題的 DataSync 部分。

AWS DataSync

什麼是 AWS DataSync?

AWS DataSync 是一種在線數據傳輸服務,可以更快更簡單地在本地存儲與 Amazon EFS 之間移動數據。DataSync 使用專用協議來加速和保護通過 Internet 或 AWS Direct Connect 傳輸的數據,速度比開源工具快 10 倍。使用 DataSync,您可以執行一次性數據遷移,傳輸本地數據以進行及時的雲端分析,並自動複製到 AWS 以進行數據保護和恢復。要了解更多信息,請訪問 AWS DataSync 頁面。
問:如何使用 AWS DataSync 將數據複製到我的 EFS 文件系統中或從中複製數據?

要開始使用 AWS DataSync,首先要部署可從 AWS 管理控制檯下載的軟件代理。部署後,您可以使用控制檯或 AWS 命令行界面 (CLI),通過網絡文件系統 (NFS) 協議將代理連接到本地或雲中的文件系統,選擇 Amazon EFS 文件系統,然後開始複製數據。
問:是否可以使用 AWS DataSync 在區域之間複製 EFS 數據?

是的,您可以使用 AWS DataSync 在兩個 EFS 文件系統之間傳輸文件,包括不同 AWS 區域中的文件系統或屬於不同 AWS 賬戶的文件系統。 有關更多信息,請參閱文檔。

兼容性

現有 AWS 產品與 Amazon EFS 的互操作性和兼容性如何?

Amazon EFS 集成了多項其他 AWS 產品,其中包括 Amazon CloudWatch、AWS CloudFormation、AWS CloudTrail、AWS IAM 和 AWS 標記服務。

藉助 Amazon CloudWatch,您可以通過指標來監控文件系統活動。藉助 AWS CloudFormation,您可以使用模板來創建和管理文件系統。

藉助 AWS CloudTrail,您可以在日誌文件中記錄所有 Amazon EFS API 調用。

藉助 AWS Identity and Access Management (IAM),您可以控制誰可以管理您的文件系統。藉助 AWS 標記服務,您可以使用自己定義的元數據對文件系統進行標記。

Amazon EFS 支持哪種類型的鎖定?

Amazon EFS 中的鎖定遵循適用於建議鎖定的 NFSv4.1 協議,您的應用程序可以使用整個文件鎖定和字節範圍鎖定。

文件系統的名稱是否像 Amazon S3 存儲桶名稱一樣,屬於全局性名稱?

每個文件系統都有一個自動生成的、在全局範圍內唯一的 ID 編號。您可以用名稱來標記您的文件系統,這些名稱不需要是唯一名稱。

定價與計費

Amazon EFS 如何收費?

使用 Amazon EFS,您只需按每月的實際用量付費。

採用預置吞吐量模式時,您需要按每月預置的吞吐量付費。沒有最低消費和設置費用。

EFS IA 的定價基於使用的存儲量和訪問的數據量。在生命週期管理將文件完全移動到 EFS IA 之前,文件存儲在 EFS 標準存儲中,並按標準費率計費。

藉助 Amazon EFS,您僅需爲實際使用的資源付費。沒有最低消費和設置費用。

Amazon EFS 提供兩種存儲類:標準存儲類和不頻繁訪問存儲類 (EFS IA)。EFS IA 提供針對每天未訪問的文件進行了成本優化的價格/性能。要將數據加載到 EFS IA 中,只需爲文件系統啓用生命週期管理,並將存儲成本降低最高 92%。

根據行業研究和客戶分析顯示,平均而言,20% 的文件會被經常使用,而其餘 80% 的文件不常被訪問。據此估算,您可以在 Amazon EFS 上以 0.08 USD/GB/月*的有效價格存儲文件。 請參見以下詳細定價示例。

美國東部(弗吉尼亞北部)區域定價

Amazon EFS 標準存儲類

標準存儲類是爲活動文件系統工作負載設計的,您只需爲每月使用的文件系統存儲量付費。

Amazon EFS 不頻繁訪問存儲類

不頻繁訪問存儲類針對訪問頻率較低的文件進行了成本優化。存儲在不頻繁訪問存儲類中的數據成本低於標準存儲類,每次讀取或寫入文件時將要支付費用。

Amazon EFS 突增吞吐量(默認)

在默認的突增吞吐量模式下,沒有帶寬和請求費用,EFS 標準存儲價格包含的基準速率是每 GB 吞吐量 50 KB/s。

Amazon EFS 預置吞吐量

您還可以選擇預置吞吐量模式,預置文件系統的吞吐量(而不考慮存儲的數據量),並單獨爲存儲量和吞吐量付費。就像默認的突增吞吐量模式一樣,在預置吞吐量模式下,EFS 標準存儲價格包含的基準速率也是每 GB 吞吐量 50 KB/s(或每 20 GB 吞吐量 1 MB/s)。您只需爲預置的吞吐量中超出基於所存儲數據提供的吞吐量的那一部分付費。

區域:亞太香港
標準存儲(GB/月) 0.39 USD
不頻繁訪問存儲類(GB/月) 0.027 USD
不頻繁訪問請求(根據傳輸的 GB 數) 0.013 USD
預置吞吐量(MB/s/月) 7.80 USD

更多區域訪問 efs定價查詢

價格是否含稅?

除非另行說明,否則我們的價格不包含適用的稅費和關稅(包括增值稅和適用的銷售稅)。使用日本賬單地址的客戶若要使用 AWS,則需繳納日本消費稅。

注意事項

不支持將 Amazon EFS 與基於 Microsoft Windows 的 Amazon EC2 實例結合使用

參考資料

Amazon EFS 常見問題

efs文檔

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章