介紹IBM Spectrum Scale

IBM Spectrum Scale概述

IBM Spectrum Scale是一個集羣文件系統，可以從多個節點提供對單個文件系統或一組文件系統的併發訪問。節點可以是SAN連接，網絡連接，SAN連接和網絡連接的混合，或無共享羣集配置。這樣可以高性能地訪問這一通用數據集，以支持橫向擴展解決方案或提供高可用性平臺。

IBM Spectrum Scale具有許多通用數據訪問以外的功能，包括數據複製，基於策略的存儲管理和多站點操作。您可以創建AIX節點，Linux節點，Windows服務器節點或三者的混合集羣。 IBM Spectrum Scale可以在虛擬化實例上運行，在環境中提供通用數據訪問，利用邏輯分區或其他虛擬機管理程序。多個IBM Spectrum Scale集羣可以在一個位置內或跨廣域網（WAN）連接共享數據。

IBM Spectrum Scale的優勢

IBM Spectrum Scale提供全局命名空間，IBM Spectrum Scale集羣之間的共享文件系統訪問，來自多個節點的同時文件訪問，通過複製實現高可恢復性和數據可用性，在安裝文件系統時進行更改的能力，以及即使在大環境也可以簡化的管理。

IBM Spectrum Scale集羣之間的共享文件系統訪問

IBM Spectrum Scale允許您在一個位置內或跨廣域網的不同集羣之間共享數據。

儘管IBM Spectrum Scale集羣是獨立管理的，但IBM Spectrum Scale還通過遠程集羣掛載共享數據訪問。這被稱爲多集羣環境。當將多個集羣配置爲訪問同一IBM Spectrum Scale文件系統時，可以使用IBM Global Security Kit（GSKit）對所有網絡連接進行身份驗證和檢查授權。

GSKit可用於身份驗證和加密羣集之間傳遞的數據。如果使用GSKit密碼，則會對數據進行加密以進行傳輸。

多集羣環境具有以下功能：

託管文件系統的集羣可以爲授權掛載特定文件系統的每個集羣指定不同的安全級別。
更改安全密鑰時，本地羣集可以保持活動狀態。由於各種原因，定期更換密鑰是必要的：
- 密鑰的數量應保持很小，以促進良好的性能。
- 密鑰更改阻止使用或繼續使用已損壞的密鑰。
- 作爲一項政策，一些機構要求定期更改安全密鑰。

IBM Spectrum Scale以類似於OpenSSH的基於主機的身份驗證機制的方式使用公鑰身份驗證。每個集羣都有一對用於標識集羣的密鑰。此外，每個羣集還有一個authorized_keys列表。 authorized_keys列表中的每一行都包含一個遠程集羣的公鑰以及該集羣有權掛載的文件系統列表。有關多集羣（遠程掛載）文件系統訪問的詳細信息，請參閱"I_BM Spectrum Scale：管理指南_"中的"訪問遠程GPFS文件系統"。

有關相關信息，請參閱"IBM Spectrum Scale：管理指南"中的"活動文件管理"。

改進的系統性能

使用GPFS文件系統可以通過多種方式提高系統性能。

允許集羣中所有節點上的多個進程或應用程序同時訪問相同的文件。也就是說，它允許來自多個節點的併發讀寫。
通過在多個磁盤上分散讀和寫來增加文件系統的聚合帶寬。
均衡所有磁盤的負載，以最大限度地提高其綜合吞吐量，從而消除存儲熱點。
支持非常大的文件和文件系統大小。
允許從多個節點併發讀寫。
提供複雜的令牌管理，可以處理對集羣，文件系統和文件資源的快速細粒度訪問。
允許爲GPFS守護程序通信指定多個網絡，並允許在集羣中使用GPFS管理命令。

要實現單個大文件的高吞吐量，需要跨多個磁盤和多個磁盤控制器對數據進行條帶化處理。GPFS不是依賴於單獨的卷管理層中的條帶化，而是在文件系統中實現條帶化。管理自己的條帶爲GPFS提供了實現容錯和跨適配器、存儲控制器和磁盤平衡負載所需的控制。GPFS中的大文件被分成大小相等的塊，連續的塊以循環的方式放置在不同的磁盤上。

GPFS會自動檢測常見的數據訪問模式，並相應地自動開始預取數據。這種預取和緩存提供了高吞吐量和快速響應時間。一些公認的I/O模式包括順序訪問模式、反向順序訪問模式和各種形式的跨步訪問模式。

文件一致性

IBM Spectrum Scale通過利用複雜的令牌管理，提供對集羣中客戶端的併發訪問。這提供了對IBM Spectrum Scale功能，文件系統和文件資源的併發和詳細訪問。

有關更多信息，請參見"GPFS體系結構"。

增強的數據可用性

GPFS提供多種功能，可提高文件系統的可靠性。這包括自動功能如文件系統日誌記錄，和可配置功能如啓動時智能安裝文件系統，以提供靈活的同步複製工具。

GPFS允許您將存儲硬件組織到 失效組 中。失效組被定義爲一組磁盤，這些磁盤共享一個共同的故障點，可能導致它們全部同時不可用。失效組由系統管理員定義，因此在定義磁盤時需要小心，以確保正確的故障組隔離。與GPFS的複製功能結合使用時，如果一組磁盤發生故障，則創建多個失效組可提高文件可用性。 GPFS中的複製可確保在不同失效組的磁盤上存在每個複製數據塊和元數據的副本。在這種情況下，如果一組磁盤不可用，GPFS將轉移到另一個失效組中的複製副本。

在配置期間，您可以分配複製係數以指示要存儲的數據和元數據的總份數。目前，最大複製係數爲3.複製允許您爲每個文件設置不同級別的保護，或爲整個文件系統設置一個級別。由於複製使用額外的磁盤空間並需要額外的寫入時間，因此應考慮複製對應用程序的影響，尤其是在通過WAN進行復制時。爲了減少數據複製所涉及的開銷，您還可以選擇僅複製元數據，以提供額外的文件系統保護。有關GPFS複製的詳細信息，請參閱"文件系統複製參數"。

GPFS是一個日誌文件系統。它爲每個文件系統創建單獨的日誌。如果有多個失效組，GPFS會自動複製恢復日誌。與基於地理的複製結合使用時，可提供災難恢復功能。有關失效組的更多信息，請參見"網絡共享磁盤（NSD）創建注意事項"。有關使用GPFS進行災難恢復的詳細信息，請參閱"IBM Spectrum Scale：管理指南"中的"數據鏡像和複製"。

創建文件系統後，可以將其配置爲在啓動GPFS守護程序時進行掛載。此功能可確保只要系統和磁盤啓動，文件系統就可用。在GPFS羣集之間使用共享文件系統訪問時，爲了減少總體GPFS控制流量，您可能決定在首次訪問時掛載文件系統。這可以通過使用具有 -A automount 選項的 mmremotefs 命令或 mmchfs 命令完成。通過使用自動掛載而不是在GPFS啓動時掛載，可以減少GPFS掛載流量。自動掛載僅在應用程序或用戶首次使用文件系統時產生額外的控制流量。另一方面，在GPFS啓動時掛載會在每次GPFS啓動時產生額外的控制流量。因此，通過使用自動掛載可以更好地一次啓動數百個節點。但是，通過網絡文件系統（NFS）掛載導出文件系統時，在啓動GPFS時掛載文件系統可能很有用。

增強的系統靈活性

使用GPFS，您的系統資源不會被凍結。您可以在掛載文件系統時添加或刪除磁盤。

當時機成熟且系統需求較低時，您可以在當前配置的所有磁盤上重新平衡文件系統。

通過QoS功能，您可以防止I/O密集型，長時間運行的管理命令控制文件系統性能，並顯著延遲其它任務。

您還可以添加或刪除節點，而不必在所有節點上停止並重新啓動GPFS守護進程。

注意：GPFS允許大量仲裁節點，以便於維護仲裁和繼續集羣操作。 GPFS還允許使用仲裁磁盤配置來進一步增強羣集可用性。有關其他信息，請參閱"仲裁"。

如果與磁盤的物理連接中斷，GPFS將動態切換對服務器節點的磁盤訪問，並繼續通過NSD服務器節點提供數據。當GPFS發現路徑已修復時，它會返回到本地磁盤訪問。

根據您的應用程序、硬件和工作負載，爲您的系統配置了GPFS之後，您可以重新配置GPFS以提高吞吐量。您可以爲當前的應用程序和用戶設置GPFS環境，確保將來可以在不危害數據的情況下進行擴展。GPFS的容量可以隨着硬件的擴展而增長。

簡化的存儲管理

IBM Spectrum Scale可以通過強大的策略驅動、自動分層存儲管理幫助您實現信息生命週期管理（ILM）。

IBM Spectrum Scale基於以下定義和用法提供存儲管理：

存儲池
策略
文件集

存儲池

存儲池 是具有類似屬性的磁盤或RAID的集合，這些磁盤或RAID作爲一個組一起管理。存儲池提供了一種在文件系統中對存儲進行分區的方法。在規劃如何配置存儲時，請考慮以下因素：

通過將存儲成本與數據值相匹配來提高性價比
通過以下方式提高性能：

– 減少高級存儲的爭用
– 減少較慢設備的影響
通過以下方式提高可靠性：
– 基於需要的複製
– 更好的失效遏制

策略

根據定義的策略將文件分配給存儲池。策略規定：

放置策略

創建文件時將文件放在特定存儲池中

文件管理策略

將文件從一個存儲池遷移到另一個存儲池
根據文件特徵刪除文件
更改文件的複製狀態
對元數據掃描和文件列表創建做快照
壓縮靜態文件

文件集

文件集 提供了一種分區文件系統的方法，並允許以比整個文件系統更精細的粒度進行管理操作。例如，文件集允許您：

在文件集級別定義數據塊和inode配額
將策略規則應用於特定文件集
在文件集級別創建快照

有關存儲池，文件集和策略的更多信息，請參閱_"IBM Spectrum Scale：管理指南"_中的"IBM Spectrum Scale的信息生命週期管理"。

簡化的管理

GPFS提供了許多標準文件系統接口，允許大多數應用程序無需修改即可執行。

操作系統實用程序補充了GPFS實用程序。也就是說，您可以繼續使用常用於普通文件操作的命令。有關更多信息，請參閱"GPFS應用程序的注意事項"。

GPFS管理命令在名稱和功能上與UNIX和Linux文件系統命令相似，但有一個重要區別：GPFS命令在多個節點上操作。一個GPFS命令可以在整個集羣中執行管理功能。請參閱"I_BM Spectrum Scale：命令和編程參考"_中記錄的各個命令。

GPFS命令將配置和文件系統信息保存在一個或多個文件中。這些文件統稱爲GPFS集羣配置數據文件。GPFS在整個集羣中保持其配置文件的一致性，這提供了準確和一致的確認信息(參見"集羣配置數據文件")。

基本的IBM Spectrum Scale結構

IBM Spectrum Scale是在一個或多個節點上定義的集羣文件系統。在集羣中的每個節點上，IBM Spectrum Scale包含三個基本組件：管理命令，內核擴展和多線程守護程序。

有關更多信息，請參見下列主題：

"GPFS管理命令"
"GPFS內核擴展
"GPFS守護進程"
對於使用Linux操作系統運行的集羣中的節點，"GPFS開源可移植性層"。

有關IBM Spectrum Scale的詳細討論，請參閱"GPFS體系結構"。

GPFS管理命令

GPFS管理命令是控制GPFS操作和配置的腳本和程序。

默認情況下，GPFS命令可以從集羣中的任何節點執行。如果需要在集羣中的另一個節點上執行任務，該命令會自動將請求重定向到適當的節點以執行。爲了使管理命令能夠操作，需要在節點之間進行無密碼的遠程Shell通信。

有關更多信息，請參閱_"IBM Spectrum Scale：管理指南_"中的"管理GPFS文件系統的要求"主題。

GPFS內核擴展

GPFS內核擴展提供了與操作系統vode和虛擬文件系統(VFS)層的接口，以便將GPFS註冊爲本機文件系統。

從結構上講，應用程序對操作系統進行文件系統調用，而操作系統則將它們呈現給GPFS文件系統內核擴展。GPFS使用操作系統的標準機制。通過這種方式，GPFS在應用程序中似乎只是另一個文件系統。GPFS內核擴展將使用系統中已經可用的資源來滿足這些請求，或者向GPFS守護進程發送消息以完成請求。

GPFS守護進程

GPFS守護程序爲GPFS執行所有I/O操作和緩衝區管理。這包括順序讀的預讀和未指定爲同步的所有寫入的回寫。 I/O操作受GPFS令牌管理保護，可確保集羣中所有節點之間的數據一致性。

守護進程是一個多線程進程，具有一些專用於特定功能的線程。需要優先關注的服務的專用線程不會被日常工作使用或阻塞。除了管理本地I/O之外，守護進程還與其他節點上的守護進程實例通信，以協調相同數據結構的配置更改、恢復和並行更新。在守護進程中執行的特定功能包括：

將磁盤空間分配給新文件和新擴展文件。這是與文件系統管理器協調完成的。
目錄管理包括創建新目錄，在現有目錄中插入和刪除條目，以及搜索需要I/O的目錄。
分配適當的鎖以保護數據和元數據的完整性。影響可從多個節點訪問的數據的鎖需要與令牌管理功能進行交互。
在守護進程的線程上啓動實際的磁盤I/O。
與文件系統管理器一起管理用戶安全性和配額。

GPFS網絡共享磁盤(NSD)組件爲在不能直接訪問磁盤的節點上運行的應用程序提供了一種命名集羣磁盤和高速訪問數據的方法。

集羣中的NSD可以物理地連接到所有節點，或者通過提供虛擬連接的NSD服務器提供數據。您可以爲每個NSD指定最多八個NSD服務器。如果一臺服務器發生故障，列表中的下一臺服務器將從失敗的節點中接管控制權。

對於給定的NSD，它的每個NSD服務器必須具有對同一NSD的物理訪問權限。但是，不同的服務器可以爲不同的非交叉客戶端集提供I/O服務。GPFS中的現有子網功能確定哪個NSD服務器應該爲特定的GPFS客戶端提供服務。

注意： GPFS假設子網中的節點是使用高速網絡連接的.。有關子網配置的其他信息，請參閱"爲GPFS節點使用公共和私有IP地址"。

GPFS通過從GPFS守護進程調用的一系列命令來確定節點是否具有到底層NSD的物理或虛擬連接。這種確定(稱爲NSD_發現_)發生在GPFS初始啓動時和掛載文件系統時。

注意： 要手動引發此_發現_操作，請使用 mmnsddiscover 命令。有關更多信息，請參閱"IBM Spectrum Scale：命令和編程參考"中的"mmnsddiscover命令"。

這是NSD發現期間使用的默認訪問順序：
用於SAN、SCSI、IDE或DASD磁盤的本地塊設備接口
NSD服務器

可以使用 useNSDserver 掛載選項更改此順序。

建議您始終爲磁盤定義NSD服務器。在已定義NSD服務器的SAN配置中，如果物理連接斷開，GPFS將動態切換到服務器節點並繼續提供數據。當GPFS發現路徑已修復時，它將回退到本地磁盤訪問。這是默認行爲，可以使用 useNSDserver 文件系統掛載選項進行更改。

有關詳細信息，請參閱"磁盤注意事項"和"NSD磁盤發現"

GPFS開源可移植層

在Linux平臺上，GPFS使用一個可加載的內核模塊，使GPFS守護進程能夠與Linux內核交互。

源代碼是爲可移植層提供的，因此GPFS可移植性可以構建並安裝在各種Linux內核版本和配置上。

在Linux上安裝GPFS時，可以基於特定的硬件平臺和Linux發行版構建可移植性模塊，以實現Linux內核與GPFS之間的通信。有關更多信息，請參閱"在Linux節點上構建GPFS可移植層"。

IBM Spectrum Scale集羣配置

可以通過多種方式配置IBM Spectrum Scale集羣。羣集可以是硬件平臺和操作系統的異構混合。

IBM Spectrum Scale集羣可以包含所有支持的節點類型的混合，包括Linux，AIX和Windows Server，這些操作系統可以在各種硬件平臺上運行，例如IBMPOWER®，基於x86的服務器和IBM Z.這些節點都可以連接到一組通用的SAN存儲或通過SAN和網絡連接節點的混合。節點可以都在一個集羣中，也可以跨多個集羣共享數據。羣集可以包含在單個數據中心中，也可以分佈在不同的地理位置。要確定哪種羣集配置最適合您的應用程序，請首先確定以下內容：

應用I/O性能和可靠性要求
底層存儲硬件的屬性
管理、安全性和所有權考慮

瞭解這些要求可幫助您確定哪些節點需要直接訪問磁盤，哪些節點應通過NSD服務器通過網絡連接訪問磁盤。

有四種基本的IBM Spectrum Scale配置：

所有節點都連接到一組公共LUN
一些節點是NSD客戶端
集羣分佈在多個站點上
數據在集羣之間共享

所有節點都連接到一組公共LUN

在這種類型的配置中，集羣中的所有節點都連接到一組公共LUN(例如，通過SAN)。以下是此配置需要考慮的方面：

希望支持最大多少節點訪問LUN
事實上，您不能將不同的操作系統與IBM Spectrum Scale混合，以直接訪問SAN上的同一組LUN

有關示例，請參見圖1。

圖1 具有與所有節點連接的SAN磁盤的集羣

一些節點是NSD客戶端

在此類配置中，只有一些節點連接到磁盤。其它節點使用NSD路徑訪問磁盤。

有關示例，請參見圖2。

圖2 只有一些節點連接到磁盤的集羣

IBM Spectrum Scale服務器和客戶端

您可以配置IBM Spectrum Scale集羣，其中某些節點與磁盤直接連接，而其它節點通過其它IBM Spectrum Scale節點訪問磁盤。此配置通常用於大型集羣或提供經濟高效的高性能解決方案。

當IBM Spectrum Scale節點爲另一個IBM Spectrum Scale節點提供對磁盤的訪問時，提供訪問的節點稱爲NSD Server。通過NSD服務器訪問數據的節點稱爲IBM Spectrum Scale客戶端。

跨多個IBM Spectrum Scale集羣共享數據

IBM Spectrum Scale允許您跨多個IBM Spectrum Scale集羣共享數據。當一個文件系統掛載到另一個IBM Spectrum Scale集羣中之後，對數據的所有訪問就像您在主機集羣中一樣。您可以在同一數據中心內連接多個羣集，也可以通過廣域網連接多個羣集。在多集羣配置中，每個集羣可以放在單獨的管理組中，以簡化管理或提供跨多個組織的數據的公共視圖。

圖3 多集羣配置

注意： 有關更多信息，請參閱"IBM Spectrum Scale：管理指南"中的"訪問遠程GPFS文件系統"。

GPFS體系結構

使用此信息可以瞭解GPFS的體系結構。

文件系統級別的節點之間的交互僅限於在並行環境中維護數據和元數據完整性所需的鎖和控制流。

GPFS體系結構的討論包括：

"特殊管理功能"
"在GPFS文件系統中使用磁盤存儲和文件結構"
"GPFS和內存"
"GPFS和網絡通信"
"應用程序和用戶與GPFS的交互"
"NSD磁盤發現"
"故障恢復處理"
"集羣配置數據文件"
"GPFS備份數據"

特殊管理功能

通常，GPFS在所有節點上執行相同的功能。它在應用程序所在的節點上處理應用程序請求。這提供了數據與應用程序的最大親和力。

在以下情況中，一個節點提供影響多個節點操作的更全局的功能。這些節點充當：

"GPFS集羣管理器"
"文件系統管理器"
"元節點"

GPFS集羣管理器

每個集羣有一個GPFS集羣管理器。通過在爲集羣指定的一組仲裁節點間進行選舉來選擇集羣管理器。

有關詳細信息，請參閱_"仲裁_"。

集羣管理器執行以下任務：

監視磁盤租賃。
檢測故障並管理集羣中節點故障的恢復。

集羣管理器確定是否存在仲裁節點以允許GPFS守護進程啓動並繼續使用文件系統。

分發遠程集羣中的節點必須知道的某些配置更改。
選擇_文件系統管理器_節點。

集羣管理器可防止多個節點承擔文件系統管理器的角色，以避免數據損壞。令牌管理服務駐留在文件系統管理器節點和您指定的任何其他節點上。有關更多信息，請參閱_"IBM Spectrum Scale：管理指南"中的"使用多個令牌服務器"_。

處理來自遠程集羣節點的UID映射請求。
聚合集羣中所有節點的健康信息。

要標識集羣管理器，請發出 mmlsmgr -c 命令。有關更多信息，請參閱"_IBM Spectrum Scale：命令和編程參考"_中的"mmlsmgr命令"。

要更改集羣管理器，請發出 mmchmgr -c 命令。有關更多信息，請參閱"_IBM Spectrum Scale：命令和編程參考"_中的"mmchmgr命令"。

文件系統管理器

每個文件系統有一個文件系統管理器(它處理使用文件系統的所有節點)。

文件系統管理器提供的服務包括：

文件系統配置

處理以下文件系統更改：

添加磁盤
更改磁盤可用性
修復文件系統

在文件系統管理器和請求服務的節點上執行掛載和卸載處理。
管理磁盤空間分配

控制將磁盤的哪些區域分配給每個節點，從而允許有效地並行分配空間。

令牌管理

文件系統管理器節點還可以執行令牌管理器服務器的職責。如果您已經顯式地將集羣中的一些節點指定爲文件系統管理器節點，那麼令牌服務器負載將分配給所有指定的管理器節點。有關更多信息，請參閱"IBM Spectrum Scale：管理指南"中的"使用多個令牌服務器"。

令牌管理服務器通過授予傳遞讀或寫文件數據或元數據的權限的令牌來協調對共享磁盤上文件的訪問。當不同節點訪問同一文件時，此服務確保文件系統數據和元數據的一致性。每個令牌的狀態在兩個地方保存：

a.在令牌管理服務器上

b.在持有令牌的令牌管理客戶端上

節點第一次訪問文件時，必須向令牌管理服務器發送請求，以獲得相應的讀或寫令牌。

在授予令牌之後，節點可以繼續讀取或寫入文件，而不需要與令牌管理服務器進行額外的交互。

這將一直持續到另一個節點上的應用程序嘗試讀取或寫入文件中的相同區域爲止。

令牌的正常流程爲：

發給令牌管理服務器的消息。

令牌管理服務器然後返回一個授予令牌或持有衝突令牌的節點列表。

然後，請求節點上的令牌管理功能負責與持有衝突令牌的所有節點通信，並讓它們放棄令牌。

這減輕了令牌服務器必須處理持有衝突令牌的所有節點。爲了讓節點放棄令牌，守護進程必須放棄它。首先，守護進程必須釋放使用此令牌持有的任何鎖。這可能涉及等待I / O完成。

附：使用多個令牌服務器

使用基於令牌的鎖管理實現分佈式鎖，允許GPFS維護文件系統的一致視圖。與每個可鎖對象相關聯的是令牌。

在可以將對象的鎖授予特定節點上的線程之前，該節點上的鎖管理器必須從令牌服務器獲取令牌。令牌管理器節點的總數取決於羣集中定義的管理器節點的數量。

首次掛載文件系統時，文件系統管理器是文件系統的唯一令牌服務器，一旦外部掛載次數超過一個，文件系統管理器指定集羣中定義的所有其他管理器節點來共享令牌服務器負載。

一旦令牌狀態被分發，它就會一直被分發，直到所有外部掛載都消失爲止。唯一有資格成爲令牌管理器節點的節點是那些指定爲管理器節點的節點。

可以在管理器節點上保留令牌的文件數受 mmchconfig 命令的 maxFilesToCache 和 maxStatCache 配置參數的值的限制。跨多個令牌管理器節點分發令牌允許同時管理或保留更多令牌，從而在同時訪問許多可鎖定對象的情況下提高性能。

配額管理

在啓用配額的文件系統中，每當掛載GPFS文件系統時，文件系統管理器節點都會自動承擔配額管理職責。配額管理包括：

將磁盤塊分配給寫入文件系統的節點
定期將分配的空間與配額限制進行比較

注意：

a.要減少寫入文件系統的節點的空間請求數，配額管理器會分配比請求的磁盤塊更多的磁盤塊（請參閱"啓用配額"）。這允許節點寫入文件系統，而無需每次寫入文件系統時都轉到配額管理器並檢查配額限制。

b.啓用配額且超過100，000用戶或組的文件系統應避免將內存較低的節點指定爲管理器，或由於配額管理器操作對內存的高需求而負載過重的節點。

文件系統管理器由集羣管理器選擇。如果文件系統管理器因任何原因而失敗，則集羣管理器會選擇新的文件系統管理器，除了完成接管所需的時間外，所有功能都會繼續運行而不會中斷。

根據應用程序工作負載，文件系統管理器提供的服務的內存和CPU要求可能使在與文件系統管理器相同的節點上運行資源密集型應用程序變得不可取。 GPFS允許您通過以下方式控制從中選擇文件系統管理器的節點池：

在創建羣集時，使用 mmcrcluster 命令
將節點添加到羣集時的 mmaddode 命令
mmchode 命令，用於在任何時候更改節點的指定

除了在發生多個故障的某些故障情況下外，這些首選項都是正確的。有關更多信息，請參閱"IBM Spectrum Scale：問題確定指南"中的"多個文件系統管理器故障"。您可以通過發出 mmlsmgr 命令列出當前分配給哪個節點爲文件系統管理器，或者通過 mmchmgr 命令更改已分配給該任務的節點。

元節點

每個打開的文件有一個元節點。元節點負責維護文件元數據的完整性。

在幾乎所有情況下，打開文件最長連續時間段的節點是元節點。訪問文件的所有節點都可以直接讀取和寫入數據，但元數據的更新只能由元節點寫入。每個文件的元節點獨立於任何其它文件的元節點，並且可以移動到任何節點以滿足應用程序要求。

在GPFS文件系統中使用磁盤存儲和文件結構

文件系統(或條帶組)由一組磁盤組成，這些磁盤存儲文件數據、文件元數據和支持實體(如配額文件和恢復日誌)。

將磁盤分配給文件系統時，會在每個磁盤上寫入文件系統描述符。 _文件系統描述符_寫在文件系統中每個磁盤上的固定位置，GPFS使用它來識別該磁盤及其在文件系統中的位置。文件系統描述符包含文件系統規範和有關文件系統狀態的信息。

在每個文件系統中，就像在其它UNIX文件系統中一樣，使用inode、間接塊和數據塊將文件寫入磁盤。 Inode和間接塊被視爲元數據，與數據或實際文件內容不同。使用 mmcrfs 命令創建文件系統或使用 mmchdisk 命令修改文件系統時，可以控制GPFS用於存儲元數據的磁盤。

每個文件的元數據存儲在inode中，包含文件大小和上次修改時間等信息。 inode還留出空間來跟蹤文件數據的位置。在IBM Spectrum Scale v3.5或更高版本中創建的文件系統上，如果文件足夠小以至於其數據可以適合此空間，則數據可以存儲在inode本身中。此方法稱爲inode中的數據，可提高使用許多小文件的工作負載的性能和空間利用率。否則，文件的數據必須放在數據塊中，並且inode用於查找這些塊的位置。然後使用inode的位置跟蹤空間來存儲這些數據塊的地址。如果文件足夠大，則其所有數據塊的地址都不能存儲在inode本身中，而inode則指向一個或多個級別的間接塊。這些文件的附加元數據空間樹可以容納非常大的文件的所有數據塊地址。存儲數據塊地址所需的級別數稱爲文件的_間接級別_。

總而言之，在3.5或更高版本中創建的文件系統上，文件通常以inode中的數據開始。當它超出這個階段時，或者如果文件系統是在V3.5之前創建的，inode就會存儲指向數據塊的直接指針；這種安排被認爲是零水平的間接性。當需要更多的數據塊時，通過添加一個間接塊並將直接指針移到那裏來增加間接級別；inode然後指向這個間接塊。隨着文件的增長，間接塊的後續級別也會增加。間接塊結構的動態特性允許文件大小增長到文件系統的大小。

出於安全考慮，加密文件將跳過inode中的數據階段。它們總是從零級間接開始。

圖4 GPFS文件具有典型的UNIX結構

文件系統限制：

GPFS集羣中掛載的文件系統的最大數量是256。
支持的文件系統大小取決於安裝的GPFS的版本。
文件系統中的最大文件數不能超過體系結構限制。

有關這些文件系統限制的最新信息，請參閱IBM知識中心的IBM Spectrum Scale FAQ。

GPFS使用文件系統描述符查找構成文件系統條帶組的所有磁盤，包括它們的大小和順序。一旦處理了文件系統描述符，就可以對文件系統中的任何塊進行尋址。特別是，可以找到描述_inode文件_的第一個inode和少量包含其餘文件系統信息的inode。inode文件是表示單個文件、目錄或鏈接的固定長度記錄的集合。鎖定的單位是單個inode。具體來說，在inode文件中有針對以下組件的固定inode：
文件系統的根目錄
_ _塊分配圖，它是位的集合，表示文件系統磁盤中磁盤空間的可用性。分配圖中的一個單元表示子塊。子塊是可分配給文件的最小連續磁盤空間單位。子塊的大小和塊中子塊的數目取決於塊的大小。分配圖被細分爲駐留在磁盤扇區邊界上的區域。區域數在文件系統創建時由參數設置，該參數指定將訪問該文件系統的節點數。區域被單獨鎖定，因此，不同的節點可以獨立和併發地分配或取消分配由不同區域表示的空間。
_ _inode分配圖，表示inode文件中inode的可用性。_inode分配圖_位於_inode分配文件_中，表示可以創建的所有文件、目錄和鏈接。 mmchfs 命令可用於更改文件系統中可創建的最大文件數，最高可達體系結構限制。

這些文件中的每個文件的數據內容都是從磁盤上的數據空間中提取的。這些文件被認爲是元數據，只在允許元數據的磁盤上分配。

配額文件

對於啓用配額的文件系統，配額文件是在文件系統創建時創建的。

注意：從GPFS 4.1開始，配額文件在外部不再存在，或者從文件系統的根目錄中不再可見；因此，使用 mmbackupconfig 備份GPFS配額信息。

文件系統有三個配額文件：

用戶配額文件 user.quota
組配額文件 group.quota
文件集配額文件 fileset.quota

對於在文件系統中工作的每個用戶， user.quota 文件包含單個用戶在文件系統中的限制和當前使用情況的記錄。如果已建立文件系統的新用戶的默認配額限制，則此文件還包含該值的記錄。

對於其用戶在文件系統中工作的每個組， group.quota 文件包含組中所有用戶在文件系統中的公共限制和當前使用情況的記錄。如果已建立文件系統的新組的默認配額限制，則此文件還包含該值的記錄。

對於每個文件集， fileset.quota 文件都包含文件集中的限制和當前使用情況的記錄。如果已建立文件集的默認配額限制，則此文件還包含該值的記錄。文件集中塊和inode的配額限制與特定用戶或用戶組的限制無關。在分配期間，將檢查相應的用戶，組和文件集限制，並應用最低閾值。

GPFS恢復日誌

GPFS恢復日誌是在創建文件系統時創建的。根據需要自動創建其他恢復日誌。文件系統管理器將恢復日誌分配給訪問文件系統的每個節點。

GPFS通過嚴格的操作順序和日誌記錄的組合來維護文件的磁盤結構的原子性。維護的數據結構是inode、間接塊、分配圖和數據塊。在任何引用數據的控制結構寫入磁盤之前，數據塊都被寫入磁盤。這將確保在新文件中永遠看不到數據塊的以前內容。以這樣的方式寫入和記錄分配塊、inode和間接塊，這樣就永遠不會有指向標記爲未分配且不可從日誌恢復的塊的指針。

只有在打開默認元數據複製（ -m 2 ）或顯式啓用日誌（ –log-replicas 2 ）時，纔會複製恢復日誌。您可以使用 mmlsfs 命令查看是否爲文件系統啓用了日誌複製，並查看了該值 -m 和 –log-replicas 參數。如果兩者都已設置，則 –log-replicas 值優先於日誌複製的 -m 值。

在某些故障情況下，塊被標記爲已分配但尚未分配給文件，這些可以通過在線或離線模式下運行 mmfsck 來恢復。日誌恢復作爲以下部分運行：

節點故障會影響失敗節點可能已鎖定的對象，恢復此類節點故障。
在到處卸載文件系統之後的 mount 。

注意：元數據，配額文件和恢復日誌未使用的空間用於用戶數據和目錄，並根據需要從塊分配圖中分配。

GPFS和內存

GPFS使用三個內存區域：從內核堆分配的內存，在守護進程段中分配的內存，以及從守護進程和內核訪問的共享段。

從內核堆分配的內存

GPFS使用內核內存來實現控制結構，如vode和與操作系統建立必要關係的相關結構。

在守護進程段中分配的內存

GPFS使用守護進程段內存來實現文件系統管理器功能。因此，文件系統管理器節點需要更多的守護進程內存，因爲整個文件系統的令牌狀態最初都存儲在那裏。需要守護程序內存的文件系統管理器功能包括：

持久化執行命令的結構
持久用於I/O操作的結構
與其它節點相關的狀態

文件系統管理器是令牌管理器，其他節點可以承擔令牌管理職責; 因此，任何管理器節點都可能消耗額外的內存用於令牌管理有關更多信息，請參閱_"IBM Spectrum Scale：管理指南_"中的_"使用多個令牌服務器_"。

從守護進程和內核訪問的共享段

共享段由在守護進程啓動時分配的固定內存和未固定內存組成。初始值是系統默認值。但是，您可以稍後使用 mmchconfig 命令更改這些值。請參見"集羣配置文件"。

固定內存稱爲_頁池_，通過設置 pagepool 集羣配置屬性進行配置。該固定存儲區用於存儲文件數據和用於優化各種數據訪問模式的性能。在共享段的非固定區域中，GPFS保存有關打開的和最近打開的文件的信息。這些信息有兩種形式：

完整的inode緩存
進程的狀態緩存

固定內存

GPFS使用固定內存(也稱爲頁池內存)來存儲文件數據和元數據，以支持I/O操作。

對於某些訪問模式，增加頁池內存可以提高I/O性能。增加頁池內存在以下情況下很有用：

有可能與應用程序執行重疊的頻繁寫入。
可以在頁池中容納的文件數據經常被重用。
I/O模式包含各種大量的順序讀，以便預取數據提高性能。

固定的內存區域不能交換到磁盤，這意味着GPFS將始終至少消耗系統內存中的 pagepool 屬性的值。因此，在確定 pagepool 屬性的值時，請考慮GPFS和在節點上運行的其他應用程序的內存需求。

非固定內存

有兩級緩存用於存儲文件元數據。

Inode緩存

inode緩存包含打開文件以及一些不再打開的最近使用的文件的inode副本。 maxFilesToCache 參數控制GPFS緩存的inode數。節點上的每個打開文件都會佔用inode緩存中的空間。 inode緩存中的額外空間用於存儲最近使用的文件的inode，以防另一個應用程序需要該數據。

打開文件的數量可以超過 maxFilesToCache 參數定義的值，以使應用程序能夠運行。但是，當超過 maxFilesToCache 數時，不再有最近打開文件的緩存，只有打開的文件inode數據保留在緩存中。

Stat緩存

stat緩存包含足夠的信息來響應有關文件的查詢並打開它，但沒有足夠的信息來讀取或寫入文件。 stat緩存中的inode有足夠的數據來響應**stat()**調用（例如，在UNIX節點上發出 ls -l 命令時）。與完整inode相比，stat緩存條目消耗的內存要少得多。Stat緩存條目爲以下內容保留：

最近訪問的文件
最近由多個**stat()**調用訪問的目錄

要設置stat緩存的值，請使用 mmchconfig 命令的 maxStatCache 屬性。

注意：

如果使用模式表明這將是高效的（例如，如果爲大型目錄發出多個ls -l命令），GPFS將爲stat緩存條目預取數據。

在Linux上，不使用 maxStatCache 。所有節點緩存都在由 maxFilesToCache 控制的池中完成。因此，在Linux上，如果您沒有使用本地只讀緩存(LROC)，請將 maxStatCache 設置爲0，以便inode不會通過stat緩存訪問 maxFilesToCache 池。直通是處理inode的一個額外步驟。如果使用LROC，則使用 maxStatCache 所使用的池，並且必須對其進行優化。GPFS共享段的大小可以限制 maxStatCache 的最大設置。
inode緩存和stat緩存中的每個條目都需要適當的令牌：

a.以確保緩存的信息保持正確

b.用於在文件系統管理器節點上存儲令牌

根據使用模式，當信息更新需要撤消令牌時，系統性能可能會降低。當兩個或多個節點共享相同的信息並將最新信息移動到其他位置時，會發生這種情況。當前節點需要訪問更新的信息時，令牌管理器必須從該節點撤銷該令牌，然後該節點才能訪問新位置中的信息。

GPFS和網絡通信

在GPFS集羣中，您可以爲GPFS守護進程通信和GPFS命令的使用指定不同的網絡。

您可以使用 mmaddode 、 mmchode 和 mmcrcluster 命令來進行這些選擇。在這些命令中，節點描述符允許您爲每個節點上的那些功能指定單獨的節點接口。GPFS的正確操作直接依賴於這些選擇。

如果集羣中的節點上啓用了防火牆，GPFS可能無法正常工作。要確保正常運行，必須將防火牆配置爲允許相應的端口或禁用防火牆。有關更多信息，請參閱"IBM Spectrum Scale：管理指南"中的"GPFS端口使用情況"和"IBM Spectrum Scale：命令和編程參考"中的_"mmnetverify命令_"。

GPFS守護進程通信

在集羣環境中，GPFS守護進程依賴於TCP/IP的正確操作。

這些依賴關係之所以存在，是因爲：

節點之間的通信路徑必須在第一次嘗試通信時建立。
集羣中的每個節點都需要在啓動和掛載過程中與集羣管理器和文件系統管理器通信。
一旦建立了連接，它就必須保持活動狀態，直到GPFS守護進程在節點上關閉爲止。

注意：建立其它通信路徑取決於節點之間的應用程序使用情況。

守護進程還使用套接字與其它節點上的文件系統的其它實例通信。具體來說，每個節點上的守護進程與文件系統管理器通信，以分配日誌、分配段和配額，以及各種恢復和配置流。GPFS要求集羣中所有節點之間存在活動節點間通信路徑，用於鎖定、元數據協調、管理命令和其他內部功能。這條路徑的存在對於GPFS的正確操作是必要的。如果節點上的GPFS守護進程的實例感覺到該通信不可用，它就會關閉。如果通信對另一個節點不可用，則兩個節點中的一個將退出GPFS。

爲GPFS節點使用公共和私有IP地址：

GPFS允許系統管理員設置集羣，以便使用公共和私有IP地址。例如，如果一個集羣有一個內部網絡連接它的一些節點，那麼使用私有IP地址在這個網絡上進行通信，並使用公共IP地址與這個網絡之外的資源進行通信，這是非常有利的。

公共IP地址是那些可用於從存在連接的任何其他位置訪問節點的地址。私有IP地址只能用於與通信適配器直接連接的節點之間的通信。私有IP地址在硬件設置時分配給每個節點，並且必須在特定的地址範圍內(IP地址在10.0.0.0、172.16.0.0或192.168.0.0子網上)。有關私有IP地址的更多信息，請參考RFC 1597-專用互聯網地址分配。

mmchconfig 命令上的 subnets 操作數指定GPFS可用於專用TCP/IP通信的有序子網列表。列出的每個子網都可能有一個集羣名稱列表（允許shell樣式的通配符），用於指定可直接訪問同一子網的其它GPFS集羣。

當GPFS守護進程在節點上啓動時，它從本地IP配置獲取它自己的IP地址和相關子網掩碼的列表。對於每個IP地址，GPFS檢查該地址是否位於 subnets 配置參數中指定的子網之一。它記錄匹配的IP地址和子網掩碼的列表，然後偵聽任何這些地址上的連接。如果節點的任何IP地址(在創建羣集時或節點添加到羣集時指定)未使用 subnets 配置參數指定，GPFS將自動將其添加到節點IP地址列表的末尾。

因此，當您爲節點使用公共IP地址時，無需使用 subnets 配置參數明確列出公共IP子網。例如，配置系統的常規方法是使用在mmcrcluster命令中解析爲外部以太網IP地址的主機名，然後，如果系統管理員希望GPFS在羣集中使用高性能交換機，則添加一個 HPS子網的 subnets 配置參數。可以添加兩個 subnets 配置參數，一個用於HPS，另一個用於外部以太網，確保它們按順序排列。在這種情況下，在創建集羣或將節點添加到集羣時，指定每個節點的兩個地址中的哪一個無關緊要。例如，要添加對僅使用交換機地址的現有集羣的遠程訪問，只需添加兩個 subnets 配置參數即可。

當一個節點加入集羣(自己的集羣啓動時，或者在掛載另一個集羣擁有的文件系統的另一個集羣啓動時)，該節點將它的IP地址列表(根據 subnets 配置參數的順序排序)發送給集羣管理器節點，集羣管理器節點將該列表作爲連接協議的一部分轉發給所有其它節點。不需要傳播其它附加信息。

當節點嘗試與另一個節點建立連接時，GPFS會根據以下過程確定要使用的目標IP地址：

對於每個自己的IP地址，它會在另一個節點的IP地址列表中搜索同一子網上的地址。
對於普通的公共IP地址，這是通過比較IP地址值和節點的IP地址的子網掩碼"與運算"的結果來完成的。
對於私有IP地址，GPFS假設兩個IP地址位於同一子網中，但前提是兩個節點位於同一集羣中，或者另一個節點位於subnets配置參數中顯式列出的一個集羣中。
如果兩個節點在公共子網上具有多個IP地址對，則GPFS將根據在初始化節點的配置參數中指定的 subnets 順序使用找到的第一個IP地址對。
如果給定的節點對不共享由 subnets 配置參數定義的公共子網，則IBM Spectrum Scale將基於節點的守護進程地址使用網絡，該地址將作爲每個節點的網絡地址列表中的最後一個條目自動添加。

注意： 當您使用子網時，與守護進程地址相對應的接口和與子網設置相匹配的接口都必須是可操作的。

有關更多信息和示例，請參閱"IBM Spectrum Scale：管理指南"中的_"使用公共和私有IP地址進行遠程訪問_"。

網絡通信和GPFS管理命令

套接字通信用於處理GPFS管理命令。根據命令的性質，GPFS可以在發出命令的節點上或在文件系統管理器上處理命令。實際的命令處理器只是組裝輸入參數，並使用套接字將它們發送到本地節點上的守護進程。

某些GPFS命令允許您指定單獨的管理網絡名稱。您可以使用節點描述符的 AdminNodeName 字段來制定此規範。有關其他信息，請參閱"IBM Spectrum Scale：命令和編程參考"以獲取這些命令的描述：

mmaddnode
mmchnode
mmcrcluster

如果命令更改文件系統的狀態或其配置，則在文件系統管理器中處理該命令。更改的結果被髮送到所有節點，命令處理的狀態返回給節點，並最終返回給發出命令的進程。例如，將磁盤添加到文件系統的命令來源於用戶進程，並且：
發送到守護進程並進行驗證。
如果可以接受，則將其轉發給文件系統管理器，該管理器更新文件系統描述符。
所有具有此文件系統的節點都會被通知需要刷新其緩存的文件系統描述符副本。
返回碼先轉發給原始守護進程，然後再轉發給原始用戶進程。

請注意，這種通信鏈可能允許與命令處理相關的故障發生在發出命令的節點以外的節點上。

應用程序和用戶與GPFS的交互

有四種方法可以與GPFS文件系統進行交互。

您可以使用以下方法與GPFS文件系統進行交互：

"IBM Spectrum Scale GUI簡介"中描述的IBM Spectrum Scale管理GUI
在GPFS守護程序初始化時或文件系統掛載時運行的操作系統命令（請參閱"操作系統命令"）
從需要訪問GPFS控制的文件的應用程序(請參閱"操作系統調用")發出的操作系統調用(如Open()
_"IBM Spectrum Scale：命令和編程參考"_中描述的GPFS命令
_"IBM Spectrum Scale：命令和編程參考"_中描述的GPFS編程接口
"IBM Spectrum Scale管理API"中描述的IBM Spectrum Scale管理API

操作系統命令

在以下場景中，操作系統命令對GPFS數據進行操作。

GPFS守護進程的初始化
文件系統的掛載

GPFS守護進程的初始化：

GPFS守護進程的初始化可以作爲節點啓動順序的一部分自動完成，也可以使用 mmstartup 命令手動完成。

守護進程啓動進程加載必要的內核擴展(如果它們以前沒有被其他進程加載)。然後，守護進程等待集羣管理器聲明仲裁存在。當達到仲裁時，羣集管理器將組的狀態從_initializing_更改爲_active_。當GPFS中出現"mmfsd ready"消息時，您可以在日誌文件中（ /var/adm/ras/mmfs.log.latest ）或運行 mmgetstate 命令時看到轉換爲活動狀態。當此狀態從_initializing_更改爲_active_時，守護進程已準備好接受掛載請求。

文件系統的掛載：

GPFS文件系統是使用GPFS mmmount 命令掛載的。

在AIX或Linux上，還可以使用操作系統的 mount 命令。GPFS掛載處理構建了提供數據路徑所需的結構，並在請求掛載的節點和文件系統管理器節點上執行。如果沒有文件系統管理器，則調用集羣管理器，由集羣管理器指定一個。文件系統管理器確保文件系統已準備好掛載。文件系統管理器確保以下每一項都是正確的：

mmfsck 命令（該命令檢查和修復文件系統）運行的實用程序沒有衝突。
mmcheckquota 命令（該命令檢查文件系統用戶、組和文件集配額）運行的實用程序沒有衝突。
所有磁盤都可用。
完成任何必要的文件系統日誌處理，以確保文件系統上的元數據是一致的。

在本地節點上，初始化已安裝文件系統所需的控制結構，並創建令牌管理功能域。此外，還會打開組成文件系統的每個磁盤的路徑。部分掛載處理涉及解除磁盤隔離，如果此節點先前已失敗，則可能需要這些磁盤。無需用戶干預即可自動完成。如果磁盤不足，則掛載將失敗。也就是說，在複製系統中，如果兩個磁盤在不同的故障組中關閉，則掛載將失敗。在非複製系統中，一個磁盤關閉將導致掛載失敗。

操作系統調用

駐留在GPFS文件系統中的文件的最常見接口是通過對操作系統的正常文件系統調用。

當文件被訪問時，操作系統將請求提交給GPFS內核擴展，該擴展試圖使用內存中的數據滿足應用程序請求。如果可以做到這一點，則通過操作系統接口將控制返回給應用程序。如果數據在內存中不可用，則請求由守護進程線程傳輸以執行。守護進程線程在內核中的系統調用中等待工作，並根據需要進行調度。守護進程級別的可用服務包括令牌的獲取和磁盤I/O。

操作系統調用在以下期間對GPFS數據進行操作：

打開文件
讀取數據
寫入數據

打開GPFS文件：

打開駐留在GPFS文件系統中的文件涉及應用程序調用指定文件名的操作系統。

處理文件打開涉及兩個階段：

標識應用程序指定的文件
基於inode構建所需的數據結構

內核擴展代碼處理目錄搜索。如果所需的信息不在內存中，則調用守護進程來獲取解析查找所需的目錄或目錄的一部分所需的令牌，然後將目錄從磁盤讀入內存。

查找過程一次出現一個目錄，以響應來自操作系統的調用。在打開的最後階段，從磁盤讀取文件的inode並連接到操作系統vode結構。這需要獲取inode上的鎖和指示metanode的存在的鎖。無論何時打開文件，都會發現或創建metanode。
如果沒有其它節點打開此文件，則此節點將成爲元節點。
如果另一個節點有先前的打開，那麼該節點就是metanode，這個節點直接與metanode進行元數據操作。

如果 open 涉及創建新文件，則在父目錄和inode分配文件塊上獲得適當的鎖。創建目錄條目，選擇並初始化inode，然後完成 open 處理。

讀取文件數據：

調用GPFS read 函數以響應 read 系統調用。

根據系統活動和狀態，文件 read 處理分爲三個級別的複雜程度:

緩衝區在內存中可用
令牌在內存中可用，但必須讀取數據
必須獲取數據和令牌

在完成 read 時，確定預取的需要。GPFS根據磁盤的性能、數據訪問模式和應用程序讀取數據的速率，爲每個打開的文件計算所需的預讀。如果需要額外的預取，則會向守護進程發送消息，該守護進程在當前 read 完成後異步處理該消息。

緩衝區和鎖在內存中可用:

_ _ 最簡單的 read 操作發生在數據已在內存中可用時，這可能是因爲數據是預取的，也可能是因爲它最近已被另一個 read 調用讀取。

在任何一種情況下，緩衝區都是本地鎖定的，並且數據被複制到應用程序數據區域。當拷貝完成時，鎖被釋放。請注意，不需要令牌通信，因爲對緩衝區的佔有意味着節點至少具有包含緩衝區的讀令牌。拷貝之後，如果合適的話，啓動預取。

令牌在本地可用，但必須讀取數據：

__當數據不在內存中時，第二種更復雜的 read 操作類型是必需的。

這發生在三種情況下：

該令牌已在未發現爭用的先前的 read 中獲得。
緩衝區已被竊取用於其它用途。
一些隨機 read 操作。

在一系列讀取中的第一次讀取中，令牌在本地不可用，但在第二次讀取中，令牌可能是可用的。

在這種情況下，找不到緩衝區，必須從磁盤讀取到緩衝區。沒有令牌活動發生，因爲節點具有足夠強的令牌，可以在本地鎖定文件的所需區域。消息被髮送到守護進程，該守護進程由一個等待的守護進程線程處理。守護進程分配緩衝區，鎖定所需的文件範圍，以便令牌在I/O期間不會被竊取，並對保存數據的設備啓動I/O。起始線程等待此操作完成，並在完成後由守護進程發佈。

必須獲取數據和令牌:

第三種也是最複雜的 read 操作要求在應用程序節點上獲取令牌和數據。

內核代碼確定數據在本地不可用，並在發送消息後向等待的守護進程發送消息。守護進程線程確定它沒有執行操作所需的令牌。在這種情況下，令牌獲取請求被髮送到令牌管理服務器。請求的令牌指定該文件範圍的所需長度，這是此緩衝區所需的長度。如果按順序訪問該文件，則指定所需的數據範圍，從這個讀取點開始，一直擴展到文件的末尾。在不存在衝突的情況下，將授予所需的範圍，從而無需在後續讀取時進行額外的令牌調用。在獲得所需的最小令牌之後，流繼續進行"文件系統管理器"中描述的令牌管理過程。

寫文件數據：

write 處理是由對操作系統的系統調用發起的，當寫涉及GPFS文件系統中的數據時，系統調用GPFS。

GPFS將數據從用戶緩衝區同步地移動到與應用程序寫入調用的文件系統緩衝區，但是實際將延遲寫入至磁盤。這種異步I/O技術可以更好地調度磁盤I/O操作並提高性能。文件系統緩衝區來自根據 mmchconfig 命令中的 pagepool 參數分配的內存。增加頁池的大小可以允許延遲更多寫入，這可以提高某些工作負載的性能。

計劃在下列情況下將數據塊寫入磁盤：

應用程序指定了 同步寫 。
系統需要用於緩衝寫入數據的內存。
文件令牌已被撤銷。
按順序寫入的文件塊的最後一個字節被寫入。
運行系統 sync 命令。

在其中一個發生之前，數據仍保留在GPFS內存中。

根據系統活動和狀態， write 處理分爲三個級別的複雜程度：
緩衝區在內存中可用
令牌在內存中可用，但必須讀取數據
必須獲取數據和令牌

在相同條件的子集下刷新元數據更改。如果該節點是metanode，則可以直接寫入，也可以通過metanode來寫入，metanode合併來自多個節點的更改。如果多個節點上的進程正在文件的同一區域中創建新的數據塊，則最經常發生最後一種情況。

緩衝區在內存中可用：

最簡單的路徑涉及這樣一種情況，即該文件塊已存在緩衝區，但可能沒有足夠強的令牌。

如果先前的寫調用訪問了該塊，並且該塊仍然駐留在內存中，則會發生這種情況。先前的調用中的寫令牌已經存在。在這種情況下，數據將從應用程序緩衝區複製到GPFS緩衝區。如果這是順序寫入，並且最後一個字節已寫入，則將異步消息發送到守護進程，以調度緩衝區寫入磁盤。此操作發生在與應用程序執行重疊的守護進程線程上。

令牌在內存中可用，但必須讀取數據：

在兩種情況下，令牌可能存在，但緩衝區不存在。

緩衝區最近被竊取，以滿足對緩衝區空間的其它需求。
先前的 write 獲得了超出其需要的期望範圍令牌。

在這兩種情況下，內核擴展都會確定緩衝區不可用，掛起應用程序線程，並向請求緩衝區的守護進程服務線程發送消息。如果寫調用針對的是一個完整的文件系統塊，則將分配一個空緩衝區，因爲整個塊將被替換。如果寫調用小於一個完整塊，並且塊的其餘部分存在，則必須讀取和覆蓋該塊的現有版本。如果 write 調用在文件中創建了一個新塊，守護進程將在分配圖中搜索空閒的塊，並將其分配給該文件。當緩衝區和磁盤上的塊都與緩衝區相關聯時， write 就像在"緩衝區在內存中可用"中一樣進行。

必須獲取數據和令牌：

__ 第三種，也是最複雜的 write 路徑，發生在本地節點上既不存在緩衝區也不存在令牌的情況下。

在分配緩衝區之前，爲所需的文件區域獲取令牌。與 read 一樣，如果正在發生順序操作，如果不存在衝突，則將獲得覆蓋比所需範圍更大範圍的令牌。如果需要，令牌管理功能將從持有令牌的另一個節點撤銷所需的令牌。獲得並鎖定了必要的令牌後， write 將像"本地可用的令牌，但必須讀取數據"一樣繼續。

stat()系統調用：

**stat()**系統調用返回與文件關聯的大小和參數的數據。該調用由 ls-l 命令和其它類似函數發出。

滿足**stat()系統調用所需的數據包含在inode中。GPFS對stat()系統調用的處理與其它文件系統的不同之處在於，它支持處理所有節點上的stat()**調用，而無需通過服務器傳遞調用。

這要求GPFS獲取保護元數據準確性的令牌。爲了最大限度地提高並行性，GPFS單獨鎖定inode並獲取單個inode。在可以檢測到模式的情況下，例如試圖在較大的目錄中使用**stat()**所有文件時，將並行地獲取inode，以便使用它們。

Inode以兩種形式緩存在GPFS中：

完整的inode
有限的stat緩存形式

需要完整的inode來對文件執行數據I/O。

stat緩存形式比完整的inode小，但足以打開文件並滿足**stat()**調用，它用於輔助 ls-l 、 du 和某些備份程序，這些程序掃描整個目錄，查找修改時間和文件大小。

這些緩存和對inode上單個令牌的要求是第二次調用目錄掃描應用程序的速度可能比第一次更快的原因。

GPFS命令處理

GPFS命令分爲兩類：本地處理的命令和涉及文件系統的需在文件系統管理器處理的命令。

文件系統管理器用於處理任何更改文件系統狀態的命令。當發出命令並且沒有掛載文件系統時，將爲該任務指定一個文件系統管理器。 mmchdisk 命令和 mmfsck 命令代表在文件系統管理器中處理的兩種典型類型的命令。

mmchdisk命令：

當更正導致一個或多個磁盤不可用的故障時，將發出 mmchdisk 命令。該命令的需求可以由 mmlsdisk 命令的輸出來確定。

** mmchdisk** 執行四項主要功能：

它將磁盤的可用性更改爲 recovering ,並在所有處理完成後變爲 up 。所有GPFS實用程序都遵循availability爲 down 時不使用磁盤。 recovering 意味着恢復尚未完成，但用戶已授權使用磁盤。
它將數據和元數據的任何副本還原爲正確的值。這包括掃描系統中的所有元數據，並將最新的元數據複製到正在恢復的磁盤上。請注意，這涉及到掃描大量數據，並可能重寫磁盤上的所有數據。對於需要掃描大量元數據的大型文件系統，這可能需要很長時間。
它停止或暫停磁盤的使用。這隻涉及更新磁盤狀態，並且應該快速運行。
更改磁盤屬性的元數據。

隨後對 mmchdisk 的調用將嘗試恢復具有availability爲" recovering

"的剩餘任何磁盤上的複製數據，並具有恢復的可用性。

有關更多信息，請參閱_"IBM Spectrum Scale：命令和編程參考_"中的"mmchdisk命令"。

mmfsck命令：

mmfsck 命令修復文件系統結構。

mmfsck 命令以兩種模式運行:

在線
離線

出於性能原因，GPFS日誌允許在節點故障後標記磁盤塊爲 used， 但實際上不是文件的一部分的情況。在線版本的 mmfsck 將清除該條件，運行 mmfsck-o-n 將掃描文件系統，以確定更正是否有用。 mmfsck 的在線版本在文件系統管理器上運行，並掃描所有inode和間接塊，查找已分配但未使用的磁盤塊。如果被授權修復文件系統，它將釋放這些塊。如果未被授權修復文件系統，它將向調用節點上的標準輸出報告條件。

** mmfsck** 的脫機版本是無法使用的文件系統的最後一道防線。在GPFS恢復日誌因磁盤媒體故障而不可用的情況下，通常需要使用 mmfsck 。 mmfsck 命令在文件系統管理器上運行，並向調用節點報告狀態。它與文件系統的任何其他用途互不兼容，並檢查任何正在運行的命令或掛載文件系統的任何節點。如果發現任何情況，它就會退出。如果任何磁盤出現 down 並需要使用 mmchdisk 將其更改爲 up 或 recovering ，它也會退出。 mmfsck 命令執行一次完整的文件系統掃描，以查找元數據的不一致。在大型文件系統上，此過程可能會很長。它請求用戶允許修復發現的任何問題，這些問題可能導致刪除損壞的文件或目錄。此命令的處理類似於其它文件系統的處理。

有關更多信息，請參閱_"IBM Spectrum Scale：命令和編程參考_"中的"mmfsck命令"。

NSD磁盤發現

當GPFS守護進程在節點上啓動時，它通過讀取寫在GPFS擁有的每個磁盤上的磁盤描述符來發現定義爲NSD的磁盤。無論分配給磁盤的當前操作系統設備名稱是什麼，都可以找到NSD。

在UNIX上，NSD發現由GPFS shell腳本 /usr/lpp/mmfs/bin/mmdevdiscover 完成，該腳本生成出現在節點的本地 /dev 文件系統中的可用磁盤設備列表。要覆蓋或增強NSD發現，可以創建腳本並將其命名爲 /var/mmfs/etc/nsddevices 。用戶創建的 nsddevices 腳本（如果存在）將在默認發現過程之前執行。

在Windows上，NSD具有帶有單個GPFS分區的GUID分區表（GPT）。通過在系統中掃描包含GPFS分區的磁盤列表來完成NSD發現。

在所有平臺上，GPFS守護進程然後使用磁盤設備列表來確定本地節點上的設備接口是否映射到配置數據庫中記錄的NSD名稱。將設備接口映射到NSD的過程涉及到GPFS依次打開每個設備並讀取在磁盤的第二扇區可能記錄的任何NSD卷標識符。

如果GPFS發現從磁盤設備讀取的NSD卷標識符與GPFS配置數據庫中用NSD名稱記錄的卷標識符匹配，則本地節點的I/O將通過本地設備接口進行。

如果本地節點上沒有針對特定NSD的設備映射，則I/O將通過IP網絡到達該NSD的服務器列表中指定的第一個NSD服務器。如果服務器列表中的第一個NSD服務器不可用，I/O將依次遍歷服務器列表，直到找到可用的NSD服務器。

請參閱 /usr/lpp/mmfs/samples/nsddevices.sample 文件，以瞭解如何爲您的配置提供特有額外磁盤發現功能的配置指南。

故障恢復處理

通常，不需要了解GPFS故障恢復處理的內部原理，因爲它是自動完成的。但是，在觀察到故障時，對這些概念的一些熟悉可能是有用的。

應該注意的是，一次只能處理一個狀態更改，例如節點的丟失或初始化，隨後的更改將排隊。這意味着在故障節點可以再次加入組之前，整個故障處理必須完成。所有故障都是首先處理的，這意味着GPFS在完成任何恢復之前處理所有故障。

GPFS使用由集羣管理器節點顯式發送的連接或離開處理消息從節點故障中恢復。集羣管理器節點在不再接收來自節點的心跳消息時觀察到節點已故障。加入或離開處理消息被廣播到運行GPFS的整個節點組，並且每個節點針對正在故障或正在加入節點的更新自己的當前狀態。集羣管理器節點失敗會導致集羣選擇新的集羣管理器。然後，新選擇的集羣配置管理器節點將處理已故障的集羣管理器的故障消息。

當通知某個節點已故障或某個節點上的GPFS守護進程已故障時，GPFS將爲在故障節點上掛載的每個文件系統調用恢復。如果需要，將爲任何不再具有文件系統管理器的文件系統選擇新的文件系統管理器。

每個文件系統的文件系統管理器確保故障節點不再能夠訪問組成文件系統的磁盤。如果文件系統管理器是由於此故障而新指定的，則它將通過查詢組中的其它節點來重新生成令牌狀態。完成此操作後，將繼續對故障節點的日誌進行實際恢復。此恢復會將在故障時正在修改的元數據重新構建爲一致狀態。在某些情況下，可能存在分配的塊不是任何文件的一部分，並且在 mmfsck 在線或離線運行之前都會丟失。日誌恢復完成後，由故障節點持有的鎖將爲該文件系統釋放。完成所有文件系統的此活動後，就會完成故障處理。此過程的最後一步允許故障的節點重新加入集羣。

集羣配置數據文件

GPFS命令將配置和文件系統信息存儲在一個或多個文件(統稱爲GPFS集羣配置數據文件)中。

這些文件不打算手動修改。

GPFS管理命令旨在使這些文件彼此保持同步，並與集羣中每個節點上的GPFS系統文件保持同步。GPFS命令不斷更新GPFS集羣配置數據文件，用戶對此信息所做的任何修改都可能丟失，而沒有任何警告。在AIX節點上，這包括/etc/filesystems中的GPFS文件系統stanza，而在Linux節點上，則包括 /etc/fstab 中的列表。

GPFS集羣配置數據存儲在 /var/mmfs/gen/mmsdrfs 文件中。此文件存儲在指定爲主GPFS集羣配置服務器的節點上，如果已指定，則存儲在輔助GPFS集羣配置服務器上。請參閱"IBM Spectrum Scale集羣配置信息"。 mmsdrfs 文件中的第一條記錄包含世代號。每當GPFS命令導致集羣或任何文件系統中的某些內容發生變化時，此更改都會反映在 mmsdrfs 文件中，並且世代號會增加1。最新世代號始終記錄在主GPFS羣集和輔助GPFS羣集配置服務器節點上的 mmsdrfs 文件中。

運行GPFS管理命令時，運行命令的節點必須能夠訪問GPFS集羣配置數據。更新 mmsdrfs 文件的命令要求主GPFS集羣配置服務器節點和(如果指定的話)從GPFS集羣配置服務器節點都可以訪問。如果無法訪問其中一個集羣配置服務器節點，則可以使用 mmchcluster 命令指定新的主或從集羣配置服務器。類似地，當GPFS守護進程啓動時，必須至少訪問兩個服務器節點中的一個。

從GPFS 4.1開始，配置數據文件的主副本可以冗餘存儲在所有仲裁節點上，而不是單獨指定的主/備用配置服務器節點上。這種存儲配置數據的方法稱爲集羣配置存儲庫（CCR），是GPFS 4.1或更高版本上創建的新集羣的默認設置。可以使用 mmchcluster 命令的 -ccr-enable 選項將現有集羣轉換爲新的存儲庫類型。

使用CCR具有以下優點：只要大多數仲裁節點可訪問，就可以對配置數據進行完全讀/寫訪問。例如，在具有五個仲裁節點的集羣中，即使五個仲裁節點中的任何兩個故障，更新 mmsdrfs 文件的命令仍將繼續正常工作。在具有仲裁磁盤的雙節點集羣中，如果其中一個節點發生故障，只要倖存的節點可以訪問仲裁磁盤，仍可以運行更改 mmsdrfs 文件的命令。通常，只要有足夠的節點和(如果指定的化）仲裁磁盤能夠訪問，GPFS就可達到仲裁，也就可以使用完整配置命令功能。 CCR還具有以下優點：它允許更改仲裁磁盤配置，包括在基於節點的仲裁和使用仲裁磁盤的節點仲裁之間切換，而無需首先關閉所有節點上的GPFS。

基於GPFS集羣配置數據中的信息，GPFS命令在GPFS集羣中的每個節點上生成和維護許多系統文件。

Linux /etc/fstab

在Linux節點上，包含集羣中存在的所有GPFS文件系統的列表。

AIX /etc/filesystems

在AIX節點上，包含羣集中存在的所有GPFS文件系統的列表。

所有GPFS節點

/var/mmfs/gen/mmfsNodeData

包含與節點相關的GPFS羣集配置數據。

/var/mmfs/gen/mmsdrfs

包含在主和從GPFS集羣配置服務器節點上找到的 mmsdrfs 文件的本地副本。

/var/mmfs/gen/mmfs.cfg

包含GPFS守護進程啓動參數。

GPFS備份數據

GPFS mmbackup 命令在命令執行期間創建多個文件。某些文件是臨時文件，在備份操作結束時被刪除。在文件集或文件系統的根目錄中還保留不能刪除的其它文件。

** mmbackup** 命令創建以 .mmbackupShadow.* 開頭的其它文件。這些文件與 mmBackup 命令相關聯，並且是完成正確備份所必需的，因此不要手動刪除或更改它們。

有關更多信息，請參閱"IBM Spectrum Scale：命令和編程參考"中的"mmbackup命令"。

IBM Spectrum Scale產品版本

IBM Spectrum Scale有兩個基於功能級別的不同版本。每個版本都可以通過IBM Spectrum Scale Client許可證，IBM Spectrum Scale Server許可證和IBM Spectrum Scale FPO許可證進行許可。

有關更多信息，請參閱"IBM Spectrum Scale許可證指定"。

IBM Spectrum Scale標準版

可在AIX、Linux和Windows上使用。這個版本除了提供基本的GPFS功能外，還提供了擴展功能。在AIX和Linux上，擴展特性包括信息生命週期管理(ILM)、活動文件管理(AFM)和集羣NFS(CNFS)。CNFS在Linux Z上不可用。在Windows上，擴展功能包括有限信息生命週期管理(ILM)。

在RedHatEnterpriseLinux7.x、SLES 12和Ubuntu16.04LTS上，擴展功能包括啓用和使用附加協議功能集成(NFS、SMB和Object)的能力。在SLES 12上，這個版本不支持對象功能。這個版本提供了兩個包：一個包含協議和需要附加的(opensource/gpl)許可接受，另一個包不包含協議並要求接受傳統的GPFS許可。

IBM Spectrum Scale高級版

可在AIX和Linux上使用。此版本提供標準版的所有功能，還提供基於AFM的異步災難恢復和使用GPFS加密子系統的高級數據保護。有關其他信息，請參閱"IBM Spectrum Scale：管理指南"中的"加密"主題。

IBM Spectrum Scale數據管理版

此版本在基於容量的許可下提供與IBM Spectrum Scale高級版相同的功能。有關更多信息，請參閱"基於容量的許可"。

注意： 集羣中的所有節點都必須安裝相同的版本。

唯一的例外是沒有加密的遠程羣集需要訪問帶加密的本地羣集。有關更多信息，請參閱"IBM Spectrum Scale許可證指定"中的"使用Multicluster進行加密"。

注意： 從版本4.2.3開始，IBM Spectrum Scale精簡版不再可用。有關從IBM Spectrum Scale 精簡版 4.2.2.x或更早版本升級到IBM Spectrum Scale 標準版 4.2.3.x或更高版本的信息，請參閱"從精簡版遷移到標準版"。

表18列出了IBM Spectrum Scale版本中關鍵功能的可用性。

表18. IBM Spectrum Scale版本中的功能

功能	標準版	高級或數據管理版
支持最大文件系統大小、文件數量、文件系統和節點數量。	√	√
節點角色: 收集器節點、管理節點	免費	免費
節點角色：集羣配置服務器，Manager，Quorum，tie-breaker，NSD服務器	√	√
多集羣	√	√
配額(僅限用戶和組)	√	√
快照	√（文件集）	√（文件集）
管理GUI	√	√
壓縮(2:1到5:1的比例)	√	√
服務質量(QoS)	√	√
文件集	√	√
多協議訪問	√	√
存儲池	√	√
ILM放置和管理策略	√	√
使用IBM Spectrum Protect或IBM Spectrum Archive的HSM	√	√
AFM緩存	√	√
透明雲分層		√
基於AFM的異步災難恢復（網關節點）		√
靜態數據加密和安全擦除		√

有關每個版本中包含的最新功能，請參閱IBM知識中心中的IBM Spectrum Scale FAQ。

IBM Spectrum Scale許可證指定

根據IBM Spectrum Scale許可協議，集羣中的每個服務器都必須被指定爲擁有IBM Spectrum Scale Client許可證，IBM Spectrum Scale文件放置優化器（FPO）許可證或IBM Spectrum Scale Server許可證。從版本4.2.2開始，您還可以使用基於容量的許可，該許可僅適用於IBM Spectrum Scale數據管理版。

存在三種基本存儲集羣模型：存儲區域網絡（SAN），網絡共享磁盤（NSD）和無共享。 IBM Spectrum Scale支持所有這三個。對於SAN和NSD集羣，除了客戶端許可證之外，還需要許多服務器許可證。對於存儲豐富的服務器無共享集羣，每個服務器都需要FPO許可證。

與任何一臺服務器關聯的許可證類型取決於該服務器被指定執行的功能角色。

IBM Spectrum Scale 客戶端許可證

IBM Spectrum Scale客戶端許可證允許在本地掛載相同IBM Spectrum Scale文件系統的服務器之間交換數據。不允許其他數據導出。

IBM Spectrum Scale 服務器許可證

IBM Spectrum Scale Server許可證允許許可服務器執行管理功能，例如集羣配置管理器，仲裁節點，管理器節點和網絡共享磁盤（NSD）服務器。此外，IBM Spectrum Scale Server許可證允許授權服務器直接通過任何應用程序，服務協議或方法（如網絡文件系統（NFS），服務器消息塊（SMB），文件傳輸協議（FTP），超文本傳輸協議（HTTP），對象協議（OpenStack Swift，Amazon S3 API））共享IBM Spectrum Scale數據。因此，協議節點還需要IBM Spectrum Scale Server許可證。

IBM Spectrum Scale FPO許可證

IBM Spectrum Scale FPO許可證允許許可服務器執行NSD服務器功能，以便與具有IBM Spectrum Scale FPO或IBM Spectrum Scale Server許可證的其他服務器共享IBM Spectrum Scale數據。

許可協議的全文隨安裝介質一起提供，可在IBM軟件許可協議網站上找到。

使用圖22中的指導決定來爲您的需求購買哪個IBM Spectrum Scale許可證。

CIFS/SMB和NFS客戶端不需要client許可證。
協議節點需要server許可證。

圖22 關於購買許可證的指導

這些許可證均可在IBM Spectrum Scale標準版和IBM Spectrum Scale Advanced Edition高級版中使用。有關更多信息，請參閱"IBM Spectrum Scale產品版本"。使用IBM Spectrum Scale數據管理版，您必須使用基於容量的許可。有關更多信息，請參閱"基於容量的許可"。

可以使用 mmlsLicense 命令查看羣集當前有效的許可證數量和類型。
如果需要，可以使用 mmchlicense 命令更改分配給節點的許可證類型。

有關更多信息，請參閱"IBM Spectrum Scale:命令和編程參考"中的 mmlslicense 命令和 mmchlicense 命令。

基於容量的許可

您可以使用基於容量的許可來根據IBM Spectrum Scale集羣中管理的存儲容量來許可IBM Spectrum Scale。

要獲得許可的存儲容量是來自IBM Spectrum Scale集羣中的所有NSD的存儲容量，單位爲千兆字節(TiB)。使用複製或壓縮等功能，或執行創建或刪除文件、文件系統或快照等任務，都不會影響被授權的容量。

例如，如果IBM Spectrum Scale集羣中的所有NSD都有100 TiB的容量，並且您已將複製係數設置爲2，則對於50 TiB的應用程序數據，將消耗100 TiB的磁盤容量。在這種情況下，許可的容量是100 TiB，而不是50 TiB。

只有在IBM Spectrum Scale集羣中添加或刪除NSD時，纔會更改許可容量。

您可以使用以下方法之一查看集羣的許可容量：

從IBM Spectrum Scale管理GUI右上角的菜單中選擇" 關於"選項。
發出 mmlslicense --capacity 命令。

基於容量的許可只能與IBM Spectrum Scale數據管理版一起使用。數據管理版提供與高級版相同的功能。

基於容量的許可也可用於許可Elastic Storage Server（ESS）系統。對於ESS，獲得許可的容量是應用IBM Spectrum Scale RAID後的容量。獲得許可的確切容量取決於所選的RAID code，8+2p或8+3p。

IBM Spectrum存儲套件

IBM Spectrum Scale是IBM Spectrum存儲套件的一部分。

通過IBM Spectrum存儲套件，您可以無限制地訪問IBM軟件定義存儲產品組合，並在單位成本的基礎上進行許可，以便在容量增長時使定價易於理解和可預測。

許可證是根據您管理的存儲容量而非您使用的軟件產品數量計算的。

有關更多信息，請參閱IBM Spectrum存儲套件網站。

介紹IBM Spectrum Scale

NFS/故障排除

無法刪除image報rbd error image still has watchers解決方法

Ceph集羣配置系列《一》配置yum源

Ceph集羣配置系列《二》環境準備

Python之JSON庫的使用（二）

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結