Как избежать дубликатов при обработке Kafka-сообщений?

Для гарантированной однократной обработки сообщений в Kafka необходимо использовать комбинацию нескольких механизмов:

1. Идempotентный продюсер — включить параметр enable.idempotence=true в настройках продюсера. Это гарантирует, что повторная отправка одного и того же сообщения не приведёт к дублированию в топике.
2. Транзакции — использовать транзакционный продюсер (initTransactions(), beginTransaction(), commitTransaction(), abortTransaction()) для атомарной отправки сообщений и подтверждения обработки. Это особенно важно, если продюсер пишет в несколько топиков или партиций.
3. Консьюмер с управлением смещениями вручную — отключить автоматическое коммитирование смещений (enable.auto.commit=false) и коммитить смещения только после успешной обработки сообщения. Это предотвращает потерю или повторную обработку.
4. Обработка ошибок и повторные попытки — реализовать логику повторных попыток обработки с контролем состояния, чтобы избежать дублирования.

Пример настройки продюсера с идемпотентностью на Java:

Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true"); // Включаем идемпотентность

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Таким образом, сочетание идемпотентного продюсера, транзакций и ручного управления смещениями на стороне консьюмера позволяет добиться гарантии однократной обработки сообщений.