Партиции позволяют увеличить пропускную способность за счёт параллельной записи, хранения и обработки. Но увеличение их числа не гарантирует ускорение: есть накладные расходы и пределы ресурсов.
Что дают партиции Kafka с точки зрения производительности: увеличивают или уменьшают пропускную способность?
Партиции позволяют увеличить пропускную способность за счёт параллельной записи, хранения и обработки. Но увеличение их числа не гарантирует ускорение: есть накладные расходы и пределы ресурсов.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Партиции позволяют увеличить пропускную способность за счёт параллельной записи, хранения и обработки. Но увеличение их числа не гарантирует ускорение: есть накладные расходы и пределы ресурсов.
В одной consumer group разные партиции могут обрабатываться разными потребителями; лишние потребители относительно числа партиций обычно не получают работу. Горячий ключ всё равно нагружает одну партицию. Слишком много партиций увеличивает число файлов, метаданных и сложность восстановления. Порядок сообщений гарантируется в пределах партиции, поэтому распределение по ключам выбирают вместе с требованиями к порядку и масштабированию.