С Kafka работал только как пользователь, или тоже приходилось администрировать/масштабировать/мониторить?

При разворачивании Apache Kafka обычно выполняются следующие шаги:

1. Подготовка инфраструктуры: выбор серверов или кластеров, настройка сети и дисковой подсистемы с высокой производительностью.
2. Установка Kafka и Zookeeper: Kafka зависит от Zookeeper для координации, поэтому сначала разворачивают Zookeeper-кластер.
3. Конфигурация брокеров: настройка параметров, таких как broker.id, log.dirs, num.partitions, replication.factor.
4. Настройка безопасности: TLS, аутентификация (SASL), авторизация.

Тюнинг Kafka включает:

• Настройка параметров производительности:

  • num.network.threads и num.io.threads для оптимизации обработки запросов.
  • Размеры партиций и количество партиций для балансировки нагрузки.

• Оптимизация дисковой подсистемы: использование SSD, настройка параметров файловой системы.

• Настройка ретеншн-политик: время хранения сообщений и размер логов.

• Мониторинг и логирование: настройка метрик для отслеживания производительности и своевременного реагирования.

Пример тюнинга в server.properties:

num.network.threads=3
num.io.threads=8
log.retention.hours=168
log.segment.bytes=1073741824

В итоге тюнинг зависит от конкретных требований нагрузки и инфраструктуры.