Consumers масштабируют по lag, скорости поступления и обработки, задержке и насыщению ресурсов. Предел полезного параллелизма группы связан с количеством партиций.
Как вы осуществляли масштабирование Kafka consumer'ов? По каким критериям?
Consumers масштабируют по lag, скорости поступления и обработки, задержке и насыщению ресурсов. Предел полезного параллелизма группы связан с количеством партиций.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Consumers масштабируют по lag, скорости поступления и обработки, задержке и насыщению ресурсов. Предел полезного параллелизма группы связан с количеством партиций.
Добавление consumer сверх числа доступных ему партиций не ускоряет обычное чтение группы. Проверьте, выдерживает ли рост параллелизма БД и внешний API, и заложите hysteresis, чтобы избежать постоянных ребалансировок. На интервью расскажите о своих порогах и измерениях, а не универсальном CPU-проценте.