Есть задача: атомарно записать событие в брокер (Kafka/RabbitMQ) и в базу данных. Как обеспечить транзакционность?

Обеспечить транзакционность при записи события одновременно в брокер сообщений (Kafka/RabbitMQ) и базу данных — нетривиальная задача, так как это две разные системы с разными транзакционными моделями.

Возможные подходы:

1. Двухфазный коммит (2PC) — редко применяется из-за сложности и отсутствия поддержки в брокерах.
2. Outbox Pattern — в рамках одной транзакции записываете событие в специальную таблицу (outbox) в базе данных вместе с основной операцией. Затем отдельный процесс читает из этой таблицы и отправляет события в брокер. Это гарантирует, что событие не потеряется и не будет отправлено дважды.
3. Транзакции Kafka (для Kafka) — Kafka поддерживает транзакции, позволяющие атомарно отправлять несколько сообщений. Но это не покрывает базу данных, поэтому часто комбинируют с outbox.
4. Идемпотентность и компенсация — если невозможно обеспечить атомарность, делают операции идемпотентными и реализуют логику компенсации при ошибках.

Пример Outbox Pattern:

using (var transaction = dbContext.Database.BeginTransaction())
{
    // Запись в основную таблицу
    dbContext.Events.Add(newEvent);
    // Запись в outbox
    dbContext.Outbox.Add(new OutboxMessage { Payload = Serialize(eventData) });
    dbContext.SaveChanges();
    transaction.Commit();
}

// Отдельный сервис читает из Outbox и отправляет в брокер

Таким образом, транзакционность достигается на уровне базы, а доставка в брокер — асинхронно, но надежно.