Зачем нужны сенсоры в Airflow?

Сенсоры (Sensors) в Apache Airflow используются для ожидания наступления определённых условий или событий до запуска следующей задачи в DAG. Они позволяют организовать зависимость задач не только по расписанию, но и по внешним факторам, например, появлению файла, завершению другой задачи вне Airflow или доступности ресурса.

Пример использования сенсора — ожидание появления файла в хранилище перед началом обработки данных:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # проверять каждые 30 секунд
    timeout=600       # максимум ждать 10 минут
)

Таким образом, сенсоры помогают автоматизировать и синхронизировать процессы, обеспечивая корректный порядок выполнения задач в зависимости от внешних условий.