30 000 сообщений в минуту — это в среднем 500 в секунду. Число партиций выбирают по измеренной производительности одной партиции/consumer, пикам и требуемому параллелизму.
[имя] спросил: Если нагрузка 30000 сообщений в минуту, сколько партиций нужно?
30 000 сообщений в минуту — это в среднем 500 в секунду. Число партиций выбирают по измеренной производительности одной партиции/consumer, пикам и требуемому параллелизму.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
30 000 сообщений в минуту — это в среднем 500 в секунду. Число партиций выбирают по измеренной производительности одной партиции/consumer, пикам и требуемому параллелизму.
Оценка снизу — ceil(пиковая нагрузка / устойчивая скорость обработки одной партиции), затем запас и проверка распределения ключей. Размер сообщения и тяжесть обработчика важнее одной частоты. Больше партиций увеличивает накладные расходы и не спасает от одного горячего ключа. Точное число без этих данных назвать нельзя.