Что такое Kafka topic, partition, broker и consumer group?

В Kafka Topic — это логическая сущность для организации сообщений. Внутри Topic есть несколько ключевых компонентов:

• Partitions (разделы): Topic разбивается на несколько партиций. Каждая партиция — это упорядоченный, неизменяемый журнал сообщений, к которому добавляются новые записи.
• Replicas (реплики): Каждая партиция может иметь несколько реплик для обеспечения отказоустойчивости. Одна из реплик является лидером, остальные — фолловерами.
• Leader и Followers: Лидер партиции обрабатывает все операции записи и чтения, фолловеры синхронизируют данные с лидером.

Таким образом, Topic — это набор партиций, каждая из которых имеет реплики, распределённые по брокерам для масштабируемости и надежности.