如何快速將第三方雲存儲數據遷移至騰訊雲對象存儲COS


原文發佈於微信公衆號:騰訊雲存儲(關注有驚喜)


遷移說明


對於使用第三方雲平臺存儲的用戶,對象存儲 COS 支持以下兩種遷移方式,幫助用戶將第三方雲平臺的存儲數據快速遷移至對象存儲 COS。


遷移方式交互形式

區分大小文

件的閾值

遷移併發度

HTTPS

 安全傳輸

遷移服務

平臺 MSP

可視化頁面操作採用默認設置全局統一開啓

COS 

Migration

修改配置文件,非可視化操作。可自定義調整針對大文件小文件分別定義併發度

可選擇是否開啓,關閉有利於加快遷移速度。


兩種遷移方式都支持查看數據遷移進度、文件一致性校驗、失敗重傳、斷點續傳等功能,能夠滿足用戶數據基本的遷移需求。

但這兩種遷移方式在交互形式和功能特點等方面又有所差別,如上表所示。用戶可根據以上的差異對比,選擇最適合的一種方式進行數據遷移。


遷移方法


一、遷移服務平臺 MSP

遷移服務平臺 MSP 是集成了多種遷移工具,並且提供可視化界面的平臺,能夠幫助用戶輕鬆監控和管理大規模的數據遷移任務。

其中“文件遷移工具”能夠幫助用戶將數據從各類公有云或數據源站中遷移至對象存儲 COS。


遷移操作步驟如下:

1. 登錄 控制檯→遷移服務平臺 MSP。

2. 單擊左側菜單欄中的【遷移工具】,找到“文件遷移工具”入口,並單擊【立即使用】。


1.png

3. 新建遷移任務並配置任務信息。

2.png

4. 啓動任務。

在新建遷移任務當中,可以看到支持的第三方雲存儲遷移平臺有6個。

以下遷移教程,會在下篇中詳解:

  • 阿里雲 OSS 遷移

  • 七牛雲 KODO 遷移

  • UCLOUD UFile 遷移

  • 金山雲 KS3 遷移

  • 百度雲 BOS 遷移

  • AWS S3 遷移


操作技巧:

在進行數據遷移過程中,數據源的讀取速度會因爲不同的網絡環境而有所不同,但客戶根據實際狀況在“新建文件遷移任務”時選擇較高的 QPS 併發度,有助於提高遷移速度 。


二、COS Migration

COS Migration 是一個集成了 COS 數據遷移功能的一體化工具。用戶只需要通過簡單的配置操作,便可將數據快速遷移至 COS 中。

遷移操作步驟如下:

1. 安裝 Java 環境。

2. 安裝 COS Migration 工具。

3. 修改配置文件。

4. 啓動工具。

具體的操作方法,請點擊查看 COS Migration 工具。

操作技巧:

下面介紹如何配置 COS Migration 能最大程度提高遷移速度:

1. 根據自身網絡環境調整區分大小文件的閾值和遷移併發度,實現大文件分塊,小文件併發    傳輸的最佳遷移方式。

調整工具執行時間和設立帶寬限制,保證自身業務運行不受遷移數據帶寬佔用影響。上述    調整可在配置文件 config.ini 中[common]分節,修改如下參數進行調整:

參數名稱參數說明
smallFileThreshold小文件閾值參數,大於等於這個閾值使用分塊上傳,默認設置爲5MB。
bigFileExecutorNum大文件併發度,默認值爲8。
如果是通過外網來連接 COS,且帶寬較小,請減小該併發度。
smallFileExecutorNum小文件併發度,默認值爲64。
如果是通過外網來連接 COS,且帶寬較小,請減小該併發度。
executeTimeWindow該參數定義遷移工具每天執行的時間段,其他時間則會進入休眠狀態,休眠狀態暫停遷移並會保留遷移進度,直到下一個時間窗口自動繼續執行。

2. 採用分佈式並行傳輸可以進一步加快遷移速度。用戶可以考慮使用多臺機器安裝 COS Migration 並分別執行不同源數據的遷移任務。



原文發佈於微信公衆號:騰訊雲存儲(關注有驚喜)


騰訊雲存儲-公衆號.jpg

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章