Что такое брокер и ZooKeeper в Kafka?

В Kafka брокер — это сервер, который хранит и передаёт сообщения. Он принимает данные от продюсеров, сохраняет их в топики и отдаёт потребителям. Брокеров может быть несколько, что обеспечивает масштабируемость и отказоустойчивость.

ZooKeeper — это сервис координации, который Kafka использует для управления кластером. Он хранит метаданные о брокерах, топиках, разделах (partition), следит за состоянием брокеров и помогает в выборе лидера для каждого раздела. ZooKeeper обеспечивает согласованность и упрощает управление кластером Kafka.