Какой оверхед на Kafka при идемпотентной отправке? Чем Kafka жертвует в таком случае?

Идемпотентная отправка в Kafka достигается за счёт уникальных идентификаторов сообщений и контроля последовательности (sequence numbers) на стороне продюсера. Это позволяет избежать дублирования сообщений при повторных попытках отправки.

Оверхед заключается в:

• Дополнительном хранении и управлении состоянием продюсера (producer state) для отслеживания sequence numbers.
• Увеличении нагрузки на брокеры для проверки и подтверждения уникальности сообщений.
• Возможном снижении пропускной способности из-за синхронизации и подтверждений.

В итоге Kafka жертвует некоторой производительностью и увеличением задержек ради гарантии идемпотентности и предотвращения дублирования сообщений.