用嵌套的兩個kafka實現突發性高併發consumer

今天遇到一個問題,某個kafka comsumer特別耗時,排查發現,之前把一些操作寫成串行了,但是這個comsumer屬於那種來一波消息就中斷的,改成並行的又需要大量資源(CPU/MEM),不划算。
後來同事提供了一種思路,將並行的操作拆另一個comsumer裏用一個進程分個處理,這樣前一個comsumer可以及時消費掉,並且不耗費資源,後一個comsumer串行地處理就不會有很長的耗時,解決了問題也節省了資源,當然前提是對時間的生效性沒有很強的要求。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章