Что такое offset в Kafka и для чего он нужен?

Offset — позиция записи внутри конкретной партиции Kafka. Он позволяет потребителю продолжать чтение с нужного места и сохранять прогресс; единого offset для всего топика нет.

Committed offset обычно обозначает следующую запись, которую группа должна прочитать. Он не обязательно совпадает с текущей позицией клиента: часть записей могла быть получена, но ещё не обработана. Фиксация до обработки грозит потерей работы, после обработки — повторной обработкой при сбое. Offset можно менять для перечитывания в пределах доступных данных. Он не является временем события или глобальным идентификатором сообщения между партициями.