Как вы осуществляли масштабирование Kafka consumer'ов? По каким критериям?

Consumers масштабируют по lag, скорости поступления и обработки, задержке и насыщению ресурсов. Предел полезного параллелизма группы связан с количеством партиций.

Короткий ответ

Что ответить на собеседовании

Consumers масштабируют по lag, скорости поступления и обработки, задержке и насыщению ресурсов. Предел полезного параллелизма группы связан с количеством партиций.

Подробный разбор

Ответ с пояснениями

Consumers масштабируют по lag, скорости поступления и обработки, задержке и насыщению ресурсов. Предел полезного параллелизма группы связан с количеством партиций.

Добавление consumer сверх числа доступных ему партиций не ускоряет обычное чтение группы. Проверьте, выдерживает ли рост параллелизма БД и внешний API, и заложите hysteresis, чтобы избежать постоянных ребалансировок. На интервью расскажите о своих порогах и измерениях, а не универсальном CPU-проценте.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее