В Apache Kafka значение Offset для потребляемых сообщений сохраняется в специальном внутреннем топике под названием consumeroffsets. Этот топик хранит информацию о текущем положении каждого потребителя (consumer group) в каждом разделе (partition) топика.
В каком месте внутри Kafka сохраняется значение Offset для потребляемых сообщений?
В Apache Kafka значение Offset для потребляемых сообщений сохраняется в специальном внутреннем топике под названием consumeroffsets.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В Apache Kafka значение Offset для потребляемых сообщений сохраняется в специальном внутреннем топике под названием __consumer_offsets. Этот топик хранит информацию о текущем положении каждого потребителя (consumer group) в каждом разделе (partition) топика.
Таким образом, Kafka не сохраняет оффсет локально у клиента, а централизованно в кластере, что позволяет потребителям восстанавливаться и продолжать чтение с нужной позиции.
Кроме того, клиенты могут сохранять оффсет вручную (commit) либо автоматически, в зависимости от настроек потребителя.
Пример в Go с использованием библиотеки confluent-kafka-go для коммита оффсетов:
consumer.CommitMessage(message)
где message — это прочитанное сообщение, оффсет которого будет сохранён.