如何提高磁盤空間利用率
——磁盤重複數據刪除技術
文件服務器的維護過程中,經常會出現很多重複的數據,造成佔用大量的空間,影響了磁盤利用率。當然利用NTFS分區的壓縮特性,也是可以提升磁盤利用率。
可是重複性的數據依然存在,那麼如何既壓縮又能刪除重複性數據呢?
這是本文所要講述的技術:重複數據刪除技術
一、技術信息
1.1 理論圖示:
在圖中A、B、C、D標示的是重複數據,E、F、H、I標示的是唯一性數據。重複數據檢測機制會檢索存儲設備上的數據,他會把數據分爲兩個類型:唯一性數據域重複性數據。重複性數據是一些提供了共同屬性的數據;重複性數據刪除操作將會在一些任務中觸發執行,比如計劃任務,會以週期性的方式更新磁盤數據狀態。
注意點:
重複數據刪除技術,無法運行在Windows的引導分區與系統啓動分區(C盤)。
1.2 重複刪除數據技術的啓用前提
序號 | 主題 | 內容 | 狀態 |
1 | 啓用重複數據刪除技術前提 | 支持啓用磁盤卷服務 | 支持 |
2 | 僅在Windows Server 2012操作系統的支持;暫不支持Windows 8客戶端。 | 支持 | |
3 | 僅支持使用NTFS文件格式的卷 | 支持 | |
4 | 支持可在後臺模式下運行,和可作爲計劃任務運行。根據配置時在I / O上的選擇差異可達2倍的效果。 | 支持 | |
5 | 不支持加密文件 | 不支持 | |
6 | 不支持由羣集共享卷(CSV)結構創建的Hyper-V | 不支持 |
1.3 環境信息:
序號 | 設備 | OS 類型 | 角色 |
1 | DC | WINDOWS server 2008 R2 SP1 Enterprise | DC/DNS |
2 | FILESERVER1 | WINDOWS server 2012 Datacenter | Fileserver |
3 | FILESERVER2 | WINDOWS server 2012 Datacenter | Fileserver |
二、實施流程
2.1 組成服務器組
2.2 安裝Data Deduplication 功能
2.3 遠程管理安裝fileserver2的文件刪除服務
2.4 安裝功能之後,我們需要在文件服務器上部署的文件磁盤捲上激活此功能
我們初始化一塊新磁盤
2.5 初始化磁盤
磁盤格式分爲兩類:
GPT:最大卷爲 18 EB (exabytes) 並且每磁盤最多有 128 個分區
MBR:支持最大卷爲 2 TB (terabytes) 並且每個磁盤最多有 4 個主分區(或 3 個主分區,1 個擴展分區和無限制的邏輯驅動器)
默認使用服務器管理GUI配置初始化磁盤時,只能轉換爲GPT,如果想轉換爲MBR,那麼需要使用磁盤管理器初始化磁盤。
這邊我們轉換爲GPT磁盤
轉換完成後,新建卷
選擇初始化的新磁盤
2.6 選擇磁盤容量
有三種磁盤單位可供選擇
2.7 分配磁盤盤符
2.8 選擇分區類型
這裏有兩種選擇:NTFS/reFS
ReFS(windows server 2012與windows 8支持)特性:
1帶有校驗和的元數據完整性
2提供可選用戶數據完整性的完整性流。
3通過寫入時分配事務模型實現可靠的磁盤更新(也稱爲寫入時複製)
4支持超大規模的卷、文件和目錄
5存儲池和虛擬化使得文件系統可建立並易於管理
6通過數據條帶化提高性能(帶寬可管理)並通過備份提高容錯性
7通過磁盤掃描防止潛在的磁盤錯誤
8藉助“數據打撈”實現損壞還原,以便在任何情況下儘可能提高卷的可用性
9跨計算機共享存儲池,以提供額外的容錯性和負載平衡
在這裏一定要選擇NTFS,否則無法啓用重複數據刪除功能
在配置界面,可以設置刪除間隔/排除文件擴展名/
2.9 設置刪除重複計劃
2.10 配置完成後,顯示詳情
配置刪除數據功能完成
查看現在詳情,因爲沒有數據所以都是0%
Ok,到這邊我們就完成了新建磁盤的重複數據刪除的配置。
那麼如果我們已經在使用的磁盤是否也可以使用這個特性呢/
答案是:可以的
我們可以測試數據重複刪除的磁盤對比:
已存在的文件:
啓用前評估的效果
啓用前空間顯示
啓用重複數據刪除進程(如果要立即刪除重複數據,就要把數據保留時間設爲0)
查看重複數據刪除效果:
已經節省了近1G的空間
查看數據節省率
查看重複數據刪除的文件檢索數量:
文件總數爲3
實際文件特徵爲1
查看重複數據刪除卷F的詳情,可以看到數據最小保存時間爲0
啓用重複數據刪除後的磁盤狀態:
Ok,到這邊就重複數據刪除技術在文件服務器上面是有一定價值的,他可以有效的節省磁盤空間,而且也可以自定義排除不想被重複刪除的文件夾或者文件後綴名;並且可以計劃何時開始執行重複數據刪除操作與何時刪除這些重複數據,但是有一個事情是我們不能忽略的:那就是如果重複數據刪除功能意外刪除了重要文件,那怎麼辦?中午就要求在服務器上做好磁盤備份,那樣如果意外刪除文件的話,可以從磁盤備份文件中提取出來。