Новые сообщения распределяет producer partitioner: по ключу или выбранной стратегии без ключа. Увеличение partition не переносит автоматически уже записанные сообщения и не гарантирует равномерную бизнес-нагрузку.
Если увеличить число партиций с одной до десяти, как равномерно распределять сообщения по ним?
Новые сообщения распределяет producer partitioner: по ключу или выбранной стратегии без ключа. Увеличение partition не переносит автоматически уже записанные сообщения и не гарантирует равномерную бизнес-нагрузку.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Новые сообщения распределяет producer partitioner: по ключу или выбранной стратегии без ключа. Увеличение partition не переносит автоматически уже записанные сообщения и не гарантирует равномерную бизнес-нагрузку.
При ключах важно их распределение: один горячий ключ останется узким местом. Без ключа стандартные стратегии стремятся эффективно распределять batches, но конкретное поведение зависит от версии и клиента. Для порядка одной сущности сохраняют ключ и планируют миграцию при изменении числа partition. Проверять нужно не только количество записей, но и их размер и время обработки.