玩轉大數據系列之一:數據採集與同步

數據的採集和同步,是先將數據從設備、或者本地數據源採集、同步到阿里雲上,然後在阿里雲上對數據進行分析和處理,最終完成您的業務要求。本文向您介紹阿里雲各產品的數據採集和同步的操作實戰文章,您可以根據您使用阿里雲產品,查看相應的文檔教程。

關於數據採集,DataWorks專門有一個模塊叫做數據集成,是阿里巴巴集團對外提供的穩定高效、彈性伸縮的數據同步平臺。致力於提供複雜網絡環境下、豐富的異構數據源之間數據高速穩定的數據移動及同步能力。詳細介紹請參見數據集成概述。

MaxCompute
Hadoop數據遷移MaxCompute
https://help.aliyun.com/document_detail/90315.html

JSON數據從OSS遷移到MaxCompute最佳實踐
https://help.aliyun.com/document_detail/96866.html

JSON數據從MongoDB遷移到MaxCompute最佳實踐
https://help.aliyun.com/document_detail/98009.html

DataWorks
新增日誌服務(Loghub)通過數據集成投遞數據
https://help.aliyun.com/document_detail/94682.html

新增ElasticSearch通過數據集成導入數據
https://help.aliyun.com/document_detail/94681.html

數據集成最佳實踐—OTSStream配置同步任務
https://help.aliyun.com/document_detail/94834.html

RDS遷移到Maxcompute實現動態分區最佳實踐
https://help.aliyun.com/document_detail/94518.html

Elasticsearch
使用DataWorks實現Hadoop與Elasticsearch數據同步
https://help.aliyun.com/document_detail/93599.html

使用DataWorks實現MaxCompute與Elasticsearch數據同步
https://help.aliyun.com/document_detail/94555.html

阿里雲上數據導入阿里雲ES(離線)
https://help.aliyun.com/document_detail/62584.html

同步 MySQL 數據庫到 Elasticsearch 中並進行搜索分析
https://help.aliyun.com/document_detail/90777.html

AnalyticDB
通過DTS實時同步RDS for MySQL數據到AnalyticDB
https://help.aliyun.com/document_detail/92849.html

使用數據集成遷移
https://help.aliyun.com/document_detail/98790.html

使用kettle將本地數據導入分析型數據庫
https://help.aliyun.com/document_detail/93631.html

DataHub
數據同步DTS將RDS數據實時傳輸至DataHub
https://help.aliyun.com/document_detail/92350.html

流數據同步DataConnector
https://help.aliyun.com/document_detail/47453.html

函數計算作爲DataHub後端服務
https://help.aliyun.com/document_detail/60325.html

擴容縮容Merge/Split
https://help.aliyun.com/document_detail/47454.html

Datahub具有服務彈性伸縮功能,用戶可根據實時的流量調整Shard數量,來應對突發性的流量增長或達到節約資源的目的。

更多大數據實戰文章
玩轉大數據系列之一:數據採集與同步

https://yq.aliyun.com/articles/684024

玩轉大數據系列之二:數據分析與處理

https://yq.aliyun.com/articles/684033

玩轉大數據系列之三:數據報表與展示

https://yq.aliyun.com/articles/684096

玩轉大數據系列之四:搜索服務

https://yq.aliyun.com/articles/684100

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章