Зачем нужны Kafka и брокеры сообщений в целом?

Брокеры отделяют производителей от обработчиков, буферизуют нагрузку и позволяют доставлять данные асинхронно. Kafka особенно подходит для долговременного журнала событий и независимых читателей.

Сообщение можно принять сейчас, а обработать позднее, не удерживая исходный HTTP-запрос. Несколько систем подписываются на один поток без прямого вызова каждой из них отправителем. Но брокер добавляет операционную сложность: повторы, порядок, отставание потребителей, хранение и восстановление. Он не устраняет необходимость идемпотентности и согласованности с БД. Для простого синхронного запроса без требований к буферу и повторному чтению прямое API может быть проще.