kafka connect:task是如何分配的?

       Worker會通過協調者獲取分配的連接器與任務。Worker客戶端爲了加入到組管理中,通過客戶端的協調者對象(WorkerCoordinator)來和服務端的消費組協調者(GroupCoordinator)通信。
       Worker組的每個Worker成員用WorkerGroupMember表示,WorkerCoordinator繼承了抽象的AbstractCoordinator類。抽象類實現了組管理協議,它的主要方法是ensureActiveGroup(),客戶端調用該方法,最終可確保組成員得到協調者返回的分配結果。
       task的分配策略是在具體的connector實現類中的taskConfigs方法實現的,這個方法定義了所有任務的配置信息,每個任務的配置不同,就可以處理不同的數據。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章