Партиции распределяют хранение и обработку по брокерам и consumer-ам. Внутри одной группы одна партиция одновременно назначается одному consumer, поэтому число партиций ограничивает параллелизм.
Как вы работали с Kafka? Что даёт партиционирование Kafka с точки зрения производительности?
Партиции распределяют хранение и обработку по брокерам и consumer-ам. Внутри одной группы одна партиция одновременно назначается одному consumer, поэтому число партиций ограничивает параллелизм.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Партиции распределяют хранение и обработку по брокерам и consumer-ам. Внутри одной группы одна партиция одновременно назначается одному consumer, поэтому число партиций ограничивает параллелизм.
Опишите реальный сценарий: какие события передавались, как выбирался ключ, сколько групп обрабатывало поток и какие гарантии были нужны. Порядок Kafka сохраняет внутри партиции, не всего топика.
Равномерный ключ помогает распределить нагрузку; горячий ключ создаёт узкое место. Добавление партиций повышает потенциальный параллелизм, но увеличивает накладные расходы и может изменить распределение ключей. Производительность проверяйте по lag, пропускной способности и задержке, не только по числу consumer-ов.