理解kafka消費者

kafka消費者主要分:主題、分區、消費組、消費者
消費邏輯:
一個主題、4個分區、兩個消費組(A、B),A組有4個消費者,B組有2個消費者
A組每個消費者分別能消費一個分區,而B組消費者分別能消費2個分區
加入A組加多一個消費者,則因爲消費者數大於分區數,則代表有一個消費者沒有可消費的分區數據
A和B是獨立消費主題

消費模式:
1、點對點:一個主題對應一個消費組
2、發佈/訂閱: 一個主題對應多個消費組,多個消費組可獨立消費數據

offset: 偏移量/位移
偏移量對應的是存儲層面,位移對應的是消費層面。
kafka通過記錄消費的位移記錄從而達到持續性消費,舊的客戶端把這些記錄存儲在zookeeper,新的客戶端存儲在kafka內部的主題__consumer_offsets中。
正因爲有offset,我們纔可以在客戶端通過設置該參數達到自定義消費範圍以及回溯消費。

 

參考:https://my.oschina.net/u/2346823/blog/4333558

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章