Зачем нужна Consumer Group в Kafka?

Group ID в Kafka consumer используется для организации потребителей в группы, которые совместно читают данные из топиков. Основные функции Group ID:

• Позволяет нескольким потребителям в одной группе распределять партиции топика между собой, обеспечивая параллельную обработку без дублирования сообщений.
• Управляет смещениями (offsets) для всей группы, что позволяет отслеживать, какие сообщения уже обработаны.

Если несколько потребителей имеют одинаковый Group ID, Kafka гарантирует, что каждый партиция будет обрабатываться только одним из них. Это важно для масштабируемости и отказоустойчивости приложений.

Пример настройки consumer с Group ID на Java:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-consumer-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("my-topic"));