今天遇到一個問題,某個kafka comsumer特別耗時,排查發現,之前把一些操作寫成串行了,但是這個comsumer屬於那種來一波消息就中斷的,改成並行的又需要大量資源(CPU/MEM),不划算。
後來同事提供了一種思路,將並行的操作拆另一個comsumer裏用一個進程分個處理,這樣前一個comsumer可以及時消費掉,並且不耗費資源,後一個comsumer串行地處理就不會有很長的耗時,解決了問題也節省了資源,當然前提是對時間的生效性沒有很強的要求。
用嵌套的兩個kafka實現突發性高併發consumer
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
VUE實現的三級聯動通用組件
業務上有共性的功能模塊,可以提煉爲單獨的組件,用的時候只需要聲明和引入即可。 組件代碼 <template> <div class="el-form-item el-form-item--mini">
hibernate顯示完整sql語句的插件
hibernate打印的sql默認是帶佔位符的,即使添加屬性後可以展示參數,但是很不直觀,不能copy出來直接用,需要一個一個拼接好。 p6spy就可以做到 <dependency> <gr