Otter-安裝配置-(4)同步任務配置案例

準備前--otter配置流程

otter配置比較繁瑣,並不會特別複雜,我這裏先大概說下流程和幾個關鍵名詞解釋
**otter名詞解釋:**
數據源:讀取的源實例信息,和寫入的目標實例信息
數據表:配置映射用的,用於配置,源實例,什麼庫,什麼表,同步到目標什麼庫,什麼表
canal:otter是做增量同步的,增量同步基於mysql的binlog日誌,並且是row格式。這裏需要配置你讀取binlog的信息,和數據源裏面的源實例信息可以說是同一個。
通道配置: otter採用一個實例一個通道方式。一個實例可以多個配置多個庫
pipeline:主要核心功能如下
(1)選擇你的canal配置,讀取哪個實例的binlog。
(2)選擇整個同步是在哪個節點上進行,例如我們部署了三個node節點,可以由node1進行讀取的操作,可以由node2進行目標實例寫入操作。也可以同時放到一個節點上。
(3)binlog位置,默認不寫就讀最新位置的。
(4)高級配置裏面有是否跳過DDL,傳輸模式,負載均衡算法等,一般保持默認即可。
**流程:**
(1)新增數據源,一般最少配置2個,一個讀取的源庫,一個目標
(2)數據表,配置映射關係,從哪裏同步到哪裏。
(3)Canal,配置讀取binlog的信息
上面步驟創建好後,我們就可以正式開始配置通道了
(4)創建通道
(5)創建pipeline
(6)創建表映射關係
(7)啓動通道

1. 同步實例配置

Otter-安裝配置-(4)同步任務配置案例
我這裏新增了兩個數據源,一個叫read(讀取源)實例,一個叫write(寫入的目標)實例.

(1)詳細編輯配置如下
Otter-安裝配置-(4)同步任務配置案例
Otter-安裝配置-(4)同步任務配置案例
(2)配置成功後的列表
Otter-安裝配置-(4)同步任務配置案例
source_read_testing_01: 要讀取數據的實例
target_write_testing_01: 要寫入數據的實例

2. 同步表配置

Otter-安裝配置-(4)同步任務配置案例
(1)讀庫表配置-詳細信息編輯
Otter-安裝配置-(4)同步任務配置案例
這裏主要是配置你要讀取的數據庫名,表名。
schema name: 配置庫名稱
Table name:因爲我們是同步庫下面的所有表,所以就填寫了一個正則表達式;
數據源:選擇源庫(上面的步驟實例配置已配置,選擇即可)
(2)寫庫表配置-詳細信息編輯
Otter-安裝配置-(4)同步任務配置案例
這裏主要是配置你要寫入的數據庫名,表名。
Schema name: 配置庫名稱
Table name:因爲我們是同步庫下面的所有表,所以就填寫了一個正則表達式;
數據源:選擇目標庫(上面的步驟實例配置已配置,選擇即可)

3.Canal配置

Otter-安裝配置-(4)同步任務配置案例

Canal配置,主要是讀取的源實例的binlog日誌用的
Otter-安裝配置-(4)同步任務配置案例
Canal名稱: 自定義
Zookeeper:默認會自動選擇,前面已配置過了
數據庫類型:Mysql
數據庫地址:就是你要獲取數據庫binlog的地址【和源庫實例一樣】
賬號密碼:需要有獲取binlog權限的賬號噢。
其他內容可不填寫

4.Channel通道配置

Otter-安裝配置-(4)同步任務配置案例

創建Canal
Otter-安裝配置-(4)同步任務配置案例
選擇基於當前日誌變更,選擇行記錄;名稱可自定義;

5.Pipeline配置

Otter-安裝配置-(4)同步任務配置案例
步驟1 : 點擊Channel通道名稱,進入下一步

步驟2 : 新增Pipleline,點擊添加
Otter-安裝配置-(4)同步任務配置案例
選擇select 和load 的節點。一個是讀,一個是寫。選擇同一個節點,減少網絡之間的傳輸。
Canal名稱: 選擇剛纔canal配置添加的,其他保持不變

6.映射關係配置

意思就是,你要在這條通道上,什麼樣的規則進行同步,就是表與表之間的配置
Otter-安裝配置-(4)同步任務配置案例
步驟1: 點擊Pipeline進入映射關係配置

步驟2:添加映射關係

步驟3:查找數據表
Otter-安裝配置-(4)同步任務配置案例
源數據表: 選擇只讀源庫表
Otter-安裝配置-(4)同步任務配置案例
目標數據表: 選擇目標庫表
Otter-安裝配置-(4)同步任務配置案例
保存後,內容如下,返回通道首頁
Otter-安裝配置-(4)同步任務配置案例

7.啓動通道

Otter-安裝配置-(4)同步任務配置案例

Otter-安裝配置-(4)同步任務配置案例

8.測試驗收

在源庫新增數據,驗證目標庫表是否正常

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章