Если создано 5 партиций Kafka, сколько consumer'ов нужно в одной consumer group для их обработки?

Один consumer может обрабатывать все пять partition. Для максимального параллелизма по partition в одной обычной группе достаточно до пяти consumer; шестой не получит работу из этого топика.

Короткий ответ

Что ответить на собеседовании

Один consumer может обрабатывать все пять partition. Для максимального параллелизма по partition в одной обычной группе достаточно до пяти consumer; шестой не получит работу из этого топика.

Подробный разбор

Ответ с пояснениями

Один consumer может обрабатывать все пять partition. Для максимального параллелизма по partition в одной обычной группе достаточно до пяти consumer; шестой не получит работу из этого топика.

Точное число выбирают по скорости обработки, распределению нагрузки и требованиям к отказоустойчивости. Два consumer могут разделить partition как три и два, но баланс по количеству ещё не означает баланс по трудоёмкости. Утверждение предполагает одинаковую подписку и обычную consumer group; при нескольких группах каждая обрабатывает свою независимую подписку.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее