В обычной consumer group можно запустить дополнительные consumers с тем же group.id. Но при десяти партициях одновременно полезно читать их смогут максимум десять участников.
Как увеличить количество consumer-ов в группе при десяти партициях?
В обычной consumer group можно запустить дополнительные consumers с тем же group.id. Но при десяти партициях одновременно полезно читать их смогут максимум десять участников.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В обычной consumer group можно запустить дополнительные consumers с тем же group.id. Но при десяти партициях одновременно полезно читать их смогут максимум десять участников.
Дополнительные участники сверх этого числа будут без назначенных партиций, если подписка ограничена этим топиком. Рост concurrency внутри процесса и рост числа процессов суммируются. Можно увеличить партиции, но это влияет на распределение ключей и порядок. Альтернатива — параллельная обработка внутри consumer с контролем offsets и порядка.