Как долго хранились логи и как долго хранились данные в Kafka?

В Kafka для настройки хранения данных (retention) используются следующие основные параметры:

• retention.ms — время хранения сообщений в миллисекундах. После истечения этого времени сообщения удаляются.
• retention.bytes — максимальный размер сегмента лога в байтах. Если размер лога превышает это значение, старые данные удаляются.
• log.retention.check.interval.ms — интервал проверки лога на необходимость удаления устаревших данных.

Можно настроить эти параметры на уровне топика или брокера. Например, чтобы хранить данные не более 7 дней, устанавливают retention.ms=604800000.

Также есть возможность настроить политику удаления:

• delete — удалять устаревшие сообщения (по умолчанию)
• compact — сохранять только последние сообщения с уникальным ключом (логическая компактификация)

Эти настройки позволяют балансировать между временем хранения данных и объемом занимаемого диска.