Что дают партиции Kafka с точки зрения производительности: увеличивают или уменьшают пропускную способность?

Партиции позволяют увеличить пропускную способность за счёт параллельной записи, хранения и обработки. Но увеличение их числа не гарантирует ускорение: есть накладные расходы и пределы ресурсов.

Короткий ответ

Что ответить на собеседовании

Партиции позволяют увеличить пропускную способность за счёт параллельной записи, хранения и обработки. Но увеличение их числа не гарантирует ускорение: есть накладные расходы и пределы ресурсов.

Подробный разбор

Ответ с пояснениями

Партиции позволяют увеличить пропускную способность за счёт параллельной записи, хранения и обработки. Но увеличение их числа не гарантирует ускорение: есть накладные расходы и пределы ресурсов.

В одной consumer group разные партиции могут обрабатываться разными потребителями; лишние потребители относительно числа партиций обычно не получают работу. Горячий ключ всё равно нагружает одну партицию. Слишком много партиций увеличивает число файлов, метаданных и сложность восстановления. Порядок сообщений гарантируется в пределах партиции, поэтому распределение по ключам выбирают вместе с требованиями к порядку и масштабированию.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее