程序員如何快速將海量本地數據遷移至騰訊雲對象存儲COS

原文發佈於微信公衆號:騰訊雲存儲(關注有驚喜)

“ 在大數據時代面對海量的本地文件時,隨着雲存儲的普及,越來越多的用戶需要把海量數據從傳統的本地存儲遷移到新的分佈式雲基礎設施上,這就需要快速高效安全的遷移方法。”

操作場景

對於擁有本地 IDC 的用戶,對象存儲 COS 在不同遷移類型上支持以下遷移方式,幫助用戶將本地 IDC 的海量數據快速遷移至對象存儲 COS。

用戶可依據數據遷移量、IDC 出口帶寬、IDC 空閒機位資源、可接受的遷移完成時間等因素來考慮如何選擇遷移方式。

下圖展示的是使用線上遷移時預估的時間消耗,可以看出,若此次遷移週期超過10天或者遷移數據量超過50TB,我們建議您選擇線下遷移,否則,請選擇線上遷移。

注意:
1MB 以下的小文件數量較多、磁盤 IO 性能不足等也會影響到數據的遷移進度。

操作方法說明

一、COS Migration 線上遷移

遷移操作步驟:

1.安裝 Java 環境。

2.安裝 COS Migration 工具。

3.修改配置文件。

4.啓動工具。

具體的操作方法,請參見COS Migration工具文檔。

如何配置才能最大程度提高遷移速度:

1.根據自身網絡環境調整區分大小文件的閾值和遷移併發度,實現大文件分塊,小文件併發傳輸的最佳遷移方式。調整工具執行時間和設立帶寬限制,保證自身業務運行不受遷移數據帶寬佔用影響。上述調整可在配置文件 config.ini 中common分節,修改如下參數進行調整:

2.採用分佈式並行傳輸可以進一步加快遷移速度。用戶可以考慮使用多臺機器安裝 COS Migration 並分別執行不同源數據的遷移任務。

二、雲數據遷移CDM 線下遷移

遷移操作步驟:

1.前往雲數據遷移 CDM 控制檯提交申請。

2.申請審覈通過後,用戶等待簽收設備。

3.收到設備後,按照遷移設備手冊把數據拷貝至設備。

4.完成數據拷貝後,在控制檯提交回寄申請並等待騰訊雲把數據遷往對象存儲 COS。

詳情請參見雲數據遷移 CDM產品文檔

如何高效安全的通過離線遷移把數據遷移至COS:

1.在 IDC 配置10Gbps的網絡環境,爲避免本地數據環境成爲傳輸瓶頸,可配備高性能的掛載點機器,最大程度加速拷貝 。

2.適用 CDM 傳輸數據最快的方式是並行傳輸數據,用戶通過監控設備的 CPU 和內存使用率,如果當前遷移速度低於預期,可以選擇以下並行傳輸方式。

多臺設備通過不同網絡接口連接同一個 CDM 設備。
多臺設備通過不同網絡接口連接多臺 CDM 設備。
程序員如何快速將海量本地數據遷移至騰訊雲對象存儲COS
掃一掃關注 有驚喜

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章