Может ли после масштабирования consumers сохраняться простой из-за дисбаланса сообщений между partitions и от чего это зависит?

Да. Если большая часть сообщений попадает в одну горячую partition, добавление consumers группы не делит её автоматически между несколькими владельцами. Остальные consumers могут простаивать при общем растущем lag.

Короткий ответ

Что ответить на собеседовании

Да. Если большая часть сообщений попадает в одну горячую partition, добавление consumers группы не делит её автоматически между несколькими владельцами. Остальные consumers могут простаивать при общем растущем lag.

Подробный разбор

Ответ с пояснениями

Да. Если большая часть сообщений попадает в одну горячую partition, добавление consumers группы не делит её автоматически между несколькими владельцами. Остальные consumers могут простаивать при общем растущем lag.

Дисбаланс определяется ключами, распределением нагрузки и стоимостью обработки, а не только числом сообщений. Сравнивают lag и время обработки по partitions, назначение и загрузку downstream. Возможные меры — изменить ключ, выделить горячую категорию или безопасно распараллелить обработку внутри consumer. Но это влияет на порядок и commits. Дополнительные partitions не перераспределяют уже лежащую историю автоматически и требуют оценки поведения новых записей.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее