Что такое Kafka и как она работает?

Что представляет собой Kafka?

• распределённая система обмена сообщениями
• работает по модели pub-sub (publisher-subscriber)
• записывает сообщения в топики (разделы на партиции)
• сохраняет порядок сообщений в пределах партиции
• горизонтально масштабируется и обеспечивает высокую пропускную способность
• позволяет хранить и повторно считывать сообщения по смещению (offset)
• часто применяется для сбора стриминговых данных, интеграции сервисов и построения событийных систем

Подробный ответ

Основной ответ

Apache Kafka — распределённая платформа потоковой передачи данных (stream processing), предназначенная для высокопроизводительной и надёжной обработки больших объёмов сообщений в реальном времени. Kafka может выступать брокером сообщений: она поддерживает очередь, подписку нескольких клиентов и запись потоков данных на диск с возможностью последующего повторного чтения.

Ключевые моменты

• Производительность и масштабирование: Kafka обрабатывает миллионы сообщений в секунду с задержкой около 10–20 мс благодаря архитектуре, основанной на партициях и репликации. Партиционирование распределяет нагрузку, а репликация повышает отказоустойчивость.
• Одновременная поддержка моделей "pub/sub" и "queue": продюсеры записывают данные в топики, разделённые на партиции, а консьюмеры читают их в разных группах. Это упрощает реализацию распространения сообщений и балансировки нагрузки.
• Хранение с ретеншеном (retention): В отличие от традиционных брокеров сообщений, Kafka сохраняет данные заданное время или до достижения определённого объёма. Благодаря этому сообщения можно читать повторно и восстанавливать состояние, например в сценариях event sourcing и CQRS.
• Интеграции и инструменты: Kafka Connect предназначен для подключения баз данных и других систем, а Kafka Streams и ksqlDB — для потоковой обработки. Вместе они формируют мощный набор средств для разработки систем реального времени.

Практический контекст

В крупных микросервисных проектах Kafka применяют для надёжной и быстрой передачи событий и логов — например, в системах мониторинга, электронной коммерции и финансовых приложениях. В больших компаниях, таких как LinkedIn и Netflix, Kafka обеспечивает 99.9% uptime и обрабатывает десятки терабайт данных в день, выступая центральным компонентом архитектуры обмена сообщениями.