Знакомо ли тебе понятие Pool в Airflow: что это и для чего нужно?

Pool в Airflow ограничивает число одновременно занятых слотов для группы задач. Он полезен, чтобы не перегружать общий API, БД или другой ограниченный ресурс.

Задачам назначают pool и при необходимости количество pool_slots. Когда свободных слотов нет, задача ждёт, даже если у executor есть вычислительные ресурсы.

Pool может объединять задачи разных DAG и не равен очереди executor или общему числу worker-процессов. Он ограничивает конкурентность, но сам по себе не гарантирует точную частоту запросов в секунду. Для rate limit внешнего API могут потребоваться дополнительные меры.

Источник: Документация Apache Kafka.