Rebalance в Kafka — перераспределение partition между consumer одной группы при изменении состава, подписок или доступных partition. Его цель — назначить работу действующим участникам.
Что такое rebalance в Kafka?
Rebalance в Kafka — перераспределение partition между consumer одной группы при изменении состава, подписок или доступных partition. Его цель — назначить работу действующим участникам.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Rebalance в Kafka — перераспределение partition между consumer одной группы при изменении состава, подписок или доступных partition. Его цель — назначить работу действующим участникам.
Причиной могут стать новый экземпляр, остановка consumer или превышение допустимого интервала активности. На время перераспределения обработка части partition может приостанавливаться; масштаб паузы зависит от протокола. Частые rebalance увеличивают lag и повторную обработку, поэтому контролируют время работы, стабильность участников и настройки клиента. Это не перераспределение самих записей между брокерами.