У нас 3 партиции и 3 консьюмера, растёт lag. Как KEDA поможет в этой ситуации?

Если у вас 3 партиции и 3 консьюмера, а lag растёт, значит консьюмеры не успевают обрабатывать сообщения с нужной скоростью.

KEDA (Kubernetes Event-driven Autoscaling) может помочь автоматически масштабировать количество консьюмеров в зависимости от нагрузки. Например, KEDA может мониторить lag в Kafka и при его росте увеличивать количество подов с консьюмерами, чтобы быстрее обрабатывать очередь.

Таким образом, KEDA позволит динамически добавлять консьюмеры, уменьшая lag, и уменьшать их, когда нагрузка падает, оптимизируя ресурсы.

Важно, чтобы количество консьюмеров не превышало количество партиций, иначе часть консьюмеров будет простаивать, так как в Kafka один консьюмер обрабатывает одну партицию.