使用EMR-Kafka Connect進行數據遷移

作者:
雲魄,阿里雲E-MapReduce 高級開發工程師,專注於流式計算,Spark Contributor


1.背景

流式處理中經常會遇到Kafka與其他系統進行數據同步或者Kafka集羣間數據遷移的情景。使用EMR Kafka Connect可以方便快速的實現數據同步或者數據遷移。

Kafka Connect是一種可擴展的、可靠的,用於在Kafka和其他系統之間快速地進行流式數據傳輸的工具。例如可以使用Kafka Connect獲取數據庫的binglog數據,將數據庫的數據遷入Kafka集羣,以同步數據庫的數據,或者對接下游的流式處理系統。同時,Kafka Connect提供的REST API接口可以方便的進行Kafka Connect的創建和管理。
Kafka Connect分爲standalone和distributed兩種運行模







發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章