Consumer или consumer group: в чём разница и когда использовать?

В Kafka группа потребителей (consumer group) — это набор клиентов, которые совместно читают данные из топиков. Основные черты и устройство:

• Каждый потребитель в группе читает уникальный набор партиций топика, что обеспечивает параллелизм и масштабируемость.
• Сообщения из одной партиции доставляются только одному потребителю в группе, что гарантирует порядок обработки.
• Если потребитель выходит из строя, его партиции перераспределяются между оставшимися участниками.
• Группа идентифицируется уникальным group.id.

Таким образом, группы потребителей позволяют эффективно распределять нагрузку и обеспечивают отказоустойчивость при обработке потоков данных.