原文發佈於微信公衆號:騰訊雲存儲(關注有驚喜)
遷移說明
對於使用第三方雲平臺存儲的用戶,對象存儲 COS 支持以下兩種遷移方式,幫助用戶將第三方雲平臺的存儲數據快速遷移至對象存儲 COS。
遷移方式 | 交互形式 | 區分大小文 件的閾值 | 遷移併發度 | HTTPS 安全傳輸 |
遷移服務 平臺 MSP | 可視化頁面操作 | 採用默認設置 | 全局統一 | 開啓 |
COS Migration | 修改配置文件,非可視化操作。 | 可自定義調整 | 針對大文件小文件分別定義併發度 | 可選擇是否開啓,關閉有利於加快遷移速度。 |
這兩種遷移方式都支持查看數據遷移進度、文件一致性校驗、失敗重傳、斷點續傳等功能,能夠滿足用戶數據基本的遷移需求。
但這兩種遷移方式在交互形式和功能特點等方面又有所差別,如上表所示。用戶可根據以上的差異對比,選擇最適合的一種方式進行數據遷移。
遷移方法
一、遷移服務平臺 MSP
遷移服務平臺 MSP 是集成了多種遷移工具,並且提供可視化界面的平臺,能夠幫助用戶輕鬆監控和管理大規模的數據遷移任務。
其中“文件遷移工具”能夠幫助用戶將數據從各類公有云或數據源站中遷移至對象存儲 COS。
遷移操作步驟如下:
1. 登錄 控制檯→遷移服務平臺 MSP。
2. 單擊左側菜單欄中的【遷移工具】,找到“文件遷移工具”入口,並單擊【立即使用】。
3. 新建遷移任務並配置任務信息。
4. 啓動任務。
在新建遷移任務當中,可以看到支持的第三方雲存儲遷移平臺有6個。
以下遷移教程,會在下篇中詳解:
阿里雲 OSS 遷移
七牛雲 KODO 遷移
UCLOUD UFile 遷移
金山雲 KS3 遷移
百度雲 BOS 遷移
AWS S3 遷移
操作技巧:
在進行數據遷移過程中,數據源的讀取速度會因爲不同的網絡環境而有所不同,但客戶根據實際狀況在“新建文件遷移任務”時選擇較高的 QPS 併發度,有助於提高遷移速度 。
二、COS Migration
COS Migration 是一個集成了 COS 數據遷移功能的一體化工具。用戶只需要通過簡單的配置操作,便可將數據快速遷移至 COS 中。
遷移操作步驟如下:
1. 安裝 Java 環境。
2. 安裝 COS Migration 工具。
3. 修改配置文件。
4. 啓動工具。
具體的操作方法,請點擊查看 COS Migration 工具。
操作技巧:
下面介紹如何配置 COS Migration 能最大程度提高遷移速度:
1. 根據自身網絡環境調整區分大小文件的閾值和遷移併發度,實現大文件分塊,小文件併發 傳輸的最佳遷移方式。
調整工具執行時間和設立帶寬限制,保證自身業務運行不受遷移數據帶寬佔用影響。上述 調整可在配置文件 config.ini 中[common]分節,修改如下參數進行調整:
參數名稱 | 參數說明 |
---|---|
smallFileThreshold | 小文件閾值參數,大於等於這個閾值使用分塊上傳,默認設置爲5MB。 |
bigFileExecutorNum | 大文件併發度,默認值爲8。 如果是通過外網來連接 COS,且帶寬較小,請減小該併發度。 |
smallFileExecutorNum | 小文件併發度,默認值爲64。 如果是通過外網來連接 COS,且帶寬較小,請減小該併發度。 |
executeTimeWindow | 該參數定義遷移工具每天執行的時間段,其他時間則會進入休眠狀態,休眠狀態暫停遷移並會保留遷移進度,直到下一個時間窗口自動繼續執行。 |
2. 採用分佈式並行傳輸可以進一步加快遷移速度。用戶可以考慮使用多臺機器安裝 COS Migration 並分別執行不同源數據的遷移任務。
原文發佈於微信公衆號:騰訊雲存儲(關注有驚喜)