Как увеличить количество consumer-ов в группе при десяти партициях?

В обычной consumer group можно запустить дополнительные consumers с тем же group.id. Но при десяти партициях одновременно полезно читать их смогут максимум десять участников.

Короткий ответ

Что ответить на собеседовании

В обычной consumer group можно запустить дополнительные consumers с тем же group.id. Но при десяти партициях одновременно полезно читать их смогут максимум десять участников.

Подробный разбор

Ответ с пояснениями

В обычной consumer group можно запустить дополнительные consumers с тем же group.id. Но при десяти партициях одновременно полезно читать их смогут максимум десять участников.

Дополнительные участники сверх этого числа будут без назначенных партиций, если подписка ограничена этим топиком. Рост concurrency внутри процесса и рост числа процессов суммируются. Можно увеличить партиции, но это влияет на распределение ключей и порядок. Альтернатива — параллельная обработка внутри consumer с контролем offsets и порядка.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее