Удаляется ли сообщение из Kafka после чтения и как долго оно хранится?

Удаляется ли сообщение из Kafka после чтения и как долго оно хранится?

• Kafka представляет собой распределённый лог сообщений с репликацией
• Прочитанные сообщения не удаляются автоматически
• Потребитель фиксирует позицию чтения с помощью offset, а не удаляет сообщение
• Срок хранения определяется политикой ретенции — временем или размером логов
• Автоматическое удаление происходит после истечения срока хранения или превышения допустимого размера
• Очистку также можно выполнить вручную с помощью команд администрирования
• Такая модель позволяет многочисленным потребителям читать одни и те же данные без их потери

Ответ: После чтения сообщения в Kafka продолжают храниться и удаляются только в соответствии с политикой ретенции; само чтение их не удаляет.

Подробный ответ

Основной ответ

В Apache Kafka сообщения, записанные в топик, сохраняются независимо от того, получили ли их потребители. В отличие от очередей с удалением после обработки, Kafka не удаляет запись сразу после её потребления. Срок хранения определяется временем или объёмом данных, а не фактом чтения. Автоматическое удаление выполняется только при наступлении условий, заданных в retention policy.

Ключевые моменты

• Модель хранения: данные в Kafka записываются в формате append-only log, и каждому сообщению присваивается уникальный offset. Потребители самостоятельно хранят и изменяют свои позиции чтения, тогда как Kafka не ведёт учёт того, какие сообщения уже были прочитаны.
• Политики удаления: сообщение удаляется после окончания установленного периода хранения (например, retention.ms, обычно одних суток или нескольких дней) либо после достижения ограничения по размеру retention.bytes. Кроме того, для compacted topics можно использовать политику compacted topics, при которой сохраняются только последние значения для каждого ключа.
• Влияние на чтение: такая архитектура позволяет масштабировать число потребителей, перезапускать их без потери данных и при необходимости повторно обрабатывать историю сообщений.

Практический контекст

В production-проектах значение retention обычно выбирают с учётом бизнес-требований: например, семь дней для потоков событий, используемых в аналитике, или compacting (compaction) для данных формата ключ-значение. Это помогает найти баланс между расходом дискового пространства и возможностью повторной обработки сообщений.