Что такое offset в Kafka? Как он движется?

Offset — позиция записи внутри partition Kafka. У каждой consumer group есть отдельно сохранённая позиция чтения; она не является глобальным номером для всего topic.

Различайте текущую позицию consumer и committed offset для восстановления: commit обычно указывает следующую запись, которую нужно читать. Offset можно переместить seek или reset, поэтому он не обязан только расти у конкретного consumer. Удаление по retention и compaction не переименовывает оставшиеся offsets; в последовательности возможны пропуски.