Что такое consumer groups в Kafka, для чего они нужны и какова их роль? Может ли один consumer читать несколько партиций, и могут ли несколько consumers одной группы читать одну партицию?

Consumer group распределяет партиции между участниками: в стабильном назначении одну партицию читает один consumer группы. Один consumer может обслуживать несколько партиций.

При избытке consumers относительно числа партиций часть участников простаивает. Разные группы независимо читают одни и те же партиции. Rebalance меняет назначения, а не гарантирует отсутствие повторной обработки. Модель потребления Kafka.