Да, число партиций существующего Kafka-топика можно увеличить. Но распределение ключей и порядок будущих сообщений могут измениться, поэтому операция требует планирования.
Можно ли в Kafka увеличить количество партиций, не пересоздавая топик?
Да, число партиций существующего Kafka-топика можно увеличить. Но распределение ключей и порядок будущих сообщений могут измениться, поэтому операция требует планирования.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Да, число партиций существующего Kafka-топика можно увеличить. Но распределение ключей и порядок будущих сообщений могут измениться, поэтому операция требует планирования.
Старые сообщения автоматически не перераспределяются. Если producer выбирает партицию по хешу ключа и общему числу партиций, после расширения тот же ключ может попасть в другую партицию. Это важно для порядка обработки. Оцените нагрузку на brokers и consumer groups; уменьшение числа партиций таким же способом не поддерживается.