Как работает replication в Kafka и что происходит при падении broker?

Kafka реплицирует партицию между брокерами: leader принимает записи, followers копируют журнал. При потере leader выбирается допустимая реплика, а клиенты обновляют метаданные.

Устойчивость записи зависит от replication factor, acks, min.insync.replicas и настроек выбора leader. acks=all не означает ожидание любых отставших реплик. Потеря всех подходящих копий приводит к недоступности; небезопасный выбор отставшей реплики может потерять данные. Отказ брокера также затрагивает размещённые на нём координаторы и другие партиции.