Как устроен механизм ребалансировки Consumer Group Rebalance в Kafka и почему слишком долгая обработка одной задачи в Python вызывает этот процесс?

Rebalance перераспределяет partitions между участниками consumer group. Долгая обработка может нарушить допустимый интервал poll или heartbeat, и consumer перестанут считать работоспособным.

Точные механизмы зависят от клиента и group protocol. Даже с фоновым heartbeat превышение max.poll.interval.ms может привести к потере назначения. Ограничивайте объём работы за poll, отделяйте обработку с контролируемой очередью и сохраняйте порядок commit. Не коммитьте offset до успешного эффекта; после rebalance возможна повторная доставка, поэтому обработка должна быть идемпотентной.