Какие гарантии доставки сообщений поддерживает Kafka?

Гарантии доставки в Kafka

• Kafka — распределённая очередь сообщений, рассчитанная на высокую доступность.
• В Kafka предусмотрены три режима доставки:
• at most once — сообщение доставляется без подтверждения, поэтому оно может потеряться.
• at least once — сообщение гарантированно будет доставлено как минимум один раз, однако возможны дубликаты.
• exactly once — сообщение доставляется ровно один раз без дублирования благодаря idempotent producer и transactions.
• Идемпотентный продюсер не допускает появления дублей при повторной отправке сообщения.
• Транзакции делают группу сообщений атомарной.
• Подтверждение записи регулируется параметром acks со значениями 0, 1 или all.
• Группа consumer управляет смещением offset, фиксируя факт прочтения сообщения.
• На практике для критичных систем выбирают exactly once, а для менее критичных — at least once.

Kafka — надёжный брокер сообщений с гибко настраиваемыми гарантиями доставки.

Подробный ответ

Основной ответ

В Apache Kafka доступны три гарантии доставки сообщений: at-most-once, at-least-once и exactly-once. Их поведение зависит от взаимодействия продюсера, брокеров и консьюмеров, а также от параметров подтверждения записи и управления смещениями (offsets).

Ключевые моменты

• At-most-once (не более одного раза) означает, что сообщение может исчезнуть, но повторной доставки не будет. Такой режим обычно получают при отключённых подтверждениях продюсера (acks=0) и немедленной фиксации offset консьюмером.
• At-least-once (минимум один раз) — наиболее распространённый режим Kafka. Продюсер ожидает подтверждения брокера (acks=all), поэтому сообщение считается записанным. При сбое консьюмер может обработать его повторно, из-за чего возникают дубликаты.
• Exactly-once (ровно один раз) поддерживается в Kafka начиная с версии 0.11 благодаря механизмам idempotent producers и transactions. Они позволяют атомарно записывать и обрабатывать сообщения, сокращая вероятность дублирования даже в распределённых сценариях. Такой режим особенно важен для финансовых приложений, где требуется строгая обработка данных.

Практический контекст

• В большинстве реальных проектов используют at-least-once, поскольку этот режим обеспечивает разумный баланс между надёжностью и производительностью.
• Для критичных потоков применяют идемпотентные продюсеры и транзакции Kafka, в том числе при работе с Kafka Streams или внешними системами.
• Чтобы получить требуемые гарантии, необходимо корректно настроить параметры acks, retries, enable.idempotence и определить правильную логику обработки offset у потребителей.

Итак, Kafka предлагает гибкую модель гарантий доставки. Её можно настроить под конкретный сценарий, учитывая компромисс между производительностью и надёжностью.