Гарантирует ли Kafka доставку сообщений на 100%?

Гарантирует ли Kafka доставку сообщений на 100%?

• распределённая платформа для потоковой передачи сообщений
• Kafka использует модель доставки "at least once"
• обеспечивает запись в логи партиций с последующей репликацией
• при сбоях или повторной обработке возможны дубликаты
• семантика "exactly once" реализуется с помощью клиентских транзакций, но имеет ограничения
• абсолютная гарантия 100% недостижима из-за сетевых сбоев и отказов компонентов
• на практике достигается высокая надёжность, однако повторная доставка сообщений возможна

Kafka не обеспечивает абсолютно безупречную (100%) доставку, однако за счёт репликации и подтверждений позволяет надёжно доставлять сообщения с минимальной вероятностью потери.

Развёрнутый ответ

Краткий ответ

Apache Kafka по своей природе не способна гарантировать стопроцентную (100%) доставку сообщений, но при корректной настройке обеспечивает высокую надёжность и сводит потери к минимуму. В Kafka применяется модель «at least once» (как минимум один раз): каждое сообщение должно попасть к потребителю не менее одного раза. Поэтому сообщения могут прийти повторно, но при правильной конфигурации не должны теряться. Начиная с Kafka 0.11+, доступен режим «exactly once» (ровно один раз), основанный на идемпотентном продюсере и транзакциях. Он максимально приближает систему к 100% гарантии, однако не является абсолютной защитой от отказов оборудования и проблем в распределённых системах.

Основные аспекты

• At least once delivery — базовая гарантия Kafka: сообщения сохраняются, но могут быть доставлены повторно, если consumer зафиксирует offset до завершения их обработки.
• Exactly once semantics (EOS) — начиная с Kafka 0.11, система поддерживает транзакционную отправку сообщений и идемпотентность продюсера, что при значительных усилиях позволяет сократить дублирование до минимума. Такой подход требует усложнённой логики в продюсере и консьюмере и подходит не для каждого сценария.
• Факторы риска потерянных сообщений: к потере могут привести отказ диска, некорректно заданная репликация (например, replication.factor=1), чрезмерно агрессивный retention, а также сбои сети или брокера.
• Trade-off: Kafka балансирует между консистентностью и скоростью, поэтому абсолютная доставка требует дополнительной логики — retries, acknowledgement и commit offset только после обработки сообщения.

Применение на практике

В production-системах надёжность повышают сочетанием репликации, синхронного acknowledgement (acks=all), idempotent producers и дедубликации на стороне потребителей. Такая архитектура позволяет приблизиться к практически 100% гарантии доставки — например, в финансовых системах, логировании и event sourcing. Однако без архитектурных ограничений и сложных дополнительных механизмов абсолютной гарантии 100% Kafka не предоставляет.