Что такое exactly-once семантика в Kafka? Действительно ли она даёт абсолютные гарантии?

Exactly-once семантика в Kafka означает, что каждое сообщение будет обработано ровно один раз, без дублирования и потерь, даже при сбоях. Это достигается за счёт идемпотентной записи продюсером и транзакционной обработки сообщений.

Однако, в реальности "абсолютных" гарантий нет, так как возможны внешние факторы: сбои в интегрированных системах, ошибки в логике обработки, сетевые проблемы. Kafka обеспечивает максимально близкую к exactly-once обработку внутри своей системы, но гарантии распространяются только на операции внутри Kafka и связанные транзакции. Внешние системы могут нарушить эти гарантии.

Пример использования транзакций в Kafka на Java:

producer.initTransactions();
try {
    producer.beginTransaction();
    producer.send(record1);
    producer.send(record2);
    producer.commitTransaction();
} catch (ProducerFencedException | OutOfOrderSequenceException | AuthorizationException e) {
    producer.close();
} catch (KafkaException e) {
    producer.abortTransaction();
}