Можете объяснить роль и назначение ZooKeeper в архитектуре Apache Kafka?

Apache ZooKeeper в архитектуре Kafka используется как централизованный сервис для управления конфигурацией и координации распределённых компонентов. Он хранит метаданные о кластере Kafka, такие как информация о брокерах, топиках, разделах (partitions) и их лидерах.

Основные роли ZooKeeper в Kafka:

• Координация брокеров: ZooKeeper следит за состоянием брокеров, помогает определить, какие брокеры активны.
• Выбор лидера раздела: При сбое брокера ZooKeeper помогает выбрать нового лидера для каждого раздела.
• Хранение метаданных: Информация о топиках, ACL, конфигурациях хранится в ZooKeeper.

Таким образом, ZooKeeper обеспечивает согласованность и отказоустойчивость кластера Kafka, позволяя брокерам и клиентам работать с актуальной информацией о состоянии системы.