Да. Если большая часть сообщений попадает в одну горячую partition, добавление consumers группы не делит её автоматически между несколькими владельцами. Остальные consumers могут простаивать при общем растущем lag.
Может ли после масштабирования consumers сохраняться простой из-за дисбаланса сообщений между partitions и от чего это зависит?
Да. Если большая часть сообщений попадает в одну горячую partition, добавление consumers группы не делит её автоматически между несколькими владельцами. Остальные consumers могут простаивать при общем растущем lag.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Да. Если большая часть сообщений попадает в одну горячую partition, добавление consumers группы не делит её автоматически между несколькими владельцами. Остальные consumers могут простаивать при общем растущем lag.
Дисбаланс определяется ключами, распределением нагрузки и стоимостью обработки, а не только числом сообщений. Сравнивают lag и время обработки по partitions, назначение и загрузку downstream. Возможные меры — изменить ключ, выделить горячую категорию или безопасно распараллелить обработку внутри consumer. Но это влияет на порядок и commits. Дополнительные partitions не перераспределяют уже лежащую историю автоматически и требуют оценки поведения новых записей.