Что такое rebalance в Kafka и что происходит с сообщениями и порядком при перераспределении partition?

Rebalance меняет назначение partition участникам группы. Записи не перемещаются между partition, но новый владелец продолжает чтение с согласованной позиции, поэтому незакоммиченная обработка может повториться.

Порядок в журнале partition сохраняется, а порядок бизнес-эффектов зависит от consumer: фоновые задачи прежнего владельца могут ещё завершаться. Нужно прекращать или координировать обработку отозванных partition и фиксировать только завершённые offsets. Подтверждение до результата создаёт риск потери работы, после результата — повторной доставки. Поэтому требуются идемпотентность и корректная обработка смены владельца.