Добавьте TriggerDagRunOperator после успешного завершения нужных задач первого DAG. Альтернатива — зависимость по опубликованному dataset/asset, если версия её поддерживает.
Как запустить второй DAG Airflow сразу после успешного завершения первого?
Добавьте TriggerDagRunOperator после успешного завершения нужных задач первого DAG. Альтернатива — зависимость по опубликованному dataset/asset, если версия её поддерживает.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Добавьте TriggerDagRunOperator после успешного завершения нужных задач первого DAG. Альтернатива — зависимость по опубликованному dataset/asset, если версия её поддерживает.
Оператор указывает target DAG и при необходимости передаёт параметры через conf. Свяжите его со всеми обязательными финальными задачами и используйте подходящее правило успешности, чтобы не запускать следующий процесс после ошибки.
Продумайте повторные запуски: retry или ручное переисполнение триггера не должны случайно создавать дублирующую обработку. Зависимость по dataset/asset лучше выражает готовность данных, а не только факт окончания произвольного графа.
Источник: Документация Apache Kafka.