Kafka: 4 консюмера в разных consumer group читают из одного топика с 3 партициями — что произойдёт?

В Kafka, если у нас есть топик с 3 партициями и 4 консюмера, каждый из которых находится в своей отдельной consumer group, то каждый консюмер будет читать все сообщения из всех 3 партиций независимо друг от друга.

Объяснение:

• Consumer group — это логическая группа консюмеров, которые совместно читают данные из топика, распределяя партиции между собой.
• Если консюмеры находятся в разных группах, то каждый из них получает полную копию данных из топика.

В нашем случае:

• 4 consumer group, по одному консюмеру в каждой.
• Каждый консюмер читает все 3 партиции топика.
• Таким образом, каждое сообщение из топика будет прочитано 4 раза — по одному разу каждым консюмером из разных групп.

Если бы все 4 консюмера были в одной группе, то партиции распределились бы между ними (максимум 3 партиции, значит один консюмер останется без данных). Но при разных группах каждый консюмер получает полный поток.