[имя] спросил: Как правильно масштабировать consumer в Kafka?

Consumer масштабируют по lag и пропускной способности обработки с учётом числа partition. В обычной группе лишние consumer сверх доступных partition не увеличивают параллелизм.

Короткий ответ

Что ответить на собеседовании

Consumer масштабируют по lag и пропускной способности обработки с учётом числа partition. В обычной группе лишние consumer сверх доступных partition не увеличивают параллелизм.

Подробный разбор

Ответ с пояснениями

Consumer масштабируют по lag и пропускной способности обработки с учётом числа partition. В обычной группе лишние consumer сверх доступных partition не увеличивают параллелизм.

Сначала найдите ограничение: CPU, внешний сервис, база, перекос ключей или медленные отдельные события. Увеличение числа partition может помочь, но меняет распределение ключей и требует проверки порядка связанных событий. При параллельной обработке внутри consumer нужно корректно фиксировать offsets только завершённых записей и учитывать rebalance. Масштабирование должно сопровождаться метриками времени обработки, возраста lag, ошибок и нагрузкой на зависимые системы.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее