Что такое topic, partition, broker и consumer group в Kafka?

Topic — поток записей, partition — его упорядоченный сегмент, broker — сервер Kafka, consumer group — группа совместно читающих потребителей.

Каждая partition хранит записи с последовательными offsets; глобального порядка между всеми partitions нет. Broker обслуживает размещённые на нём реплики, среди которых для partition есть лидер. В обычной consumer group одна partition назначается одному активному участнику, а разные группы читают поток независимо. Репликация повышает доступность, разбиение на partitions даёт параллелизм. Topic не является отдельным процессом, а offset — не универсальным ID сообщения во всём кластере.