DAG описывает задачи и зависимости без направленных циклов. Airflow планирует и отслеживает их запуск; сами вычисления выполняются выбранным механизмом исполнения.
Из каких компонентов состоит Airflow и что такое DAG?
DAG описывает задачи и зависимости без направленных циклов. Airflow планирует и отслеживает их запуск; сами вычисления выполняются выбранным механизмом исполнения.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
DAG описывает задачи и зависимости без направленных циклов. Airflow планирует и отслеживает их запуск; сами вычисления выполняются выбранным механизмом исполнения.
Ключевые части — scheduler, обработка DAG-файлов, metadata DB, executor и исполнители задач, интерфейс/API; для deferrable-задач нужен triggerer. Состав процессов зависит от версии и executor. Архитектурные понятия Airflow.