Consumer масштабируют по lag и пропускной способности обработки с учётом числа partition. В обычной группе лишние consumer сверх доступных partition не увеличивают параллелизм.
[имя] спросил: Как правильно масштабировать consumer в Kafka?
Consumer масштабируют по lag и пропускной способности обработки с учётом числа partition. В обычной группе лишние consumer сверх доступных partition не увеличивают параллелизм.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Consumer масштабируют по lag и пропускной способности обработки с учётом числа partition. В обычной группе лишние consumer сверх доступных partition не увеличивают параллелизм.
Сначала найдите ограничение: CPU, внешний сервис, база, перекос ключей или медленные отдельные события. Увеличение числа partition может помочь, но меняет распределение ключей и требует проверки порядка связанных событий. При параллельной обработке внутри consumer нужно корректно фиксировать offsets только завершённых записей и учитывать rebalance. Масштабирование должно сопровождаться метриками времени обработки, возраста lag, ошибок и нагрузкой на зависимые системы.