Как вы решали проблему дублей сообщений в Kafka?

Защиту от дублей обычно строят на стабильном идентификаторе события и идемпотентной обработке. Факт обработки и бизнес-изменение сохраняют атомарно, а offset подтверждают после успешного результата.

Уникальное ограничение в inbox предотвращает повторный эффект при сбое между commit БД и commit offset. Внешним операциям передают idempotency key либо используют отдельный согласованный протокол. Идемпотентный producer уменьшает дубли от своих повторных отправок, но не устраняет все повторные бизнес-события. На интервью важно назвать конкретный источник дублей и фактически применённую защиту.