Как запустить второй DAG Airflow сразу после успешного завершения первого?

Добавьте TriggerDagRunOperator после успешного завершения нужных задач первого DAG. Альтернатива — зависимость по опубликованному dataset/asset, если версия её поддерживает.

Короткий ответ

Что ответить на собеседовании

Добавьте TriggerDagRunOperator после успешного завершения нужных задач первого DAG. Альтернатива — зависимость по опубликованному dataset/asset, если версия её поддерживает.

Подробный разбор

Ответ с пояснениями

Добавьте TriggerDagRunOperator после успешного завершения нужных задач первого DAG. Альтернатива — зависимость по опубликованному dataset/asset, если версия её поддерживает.

Оператор указывает target DAG и при необходимости передаёт параметры через conf. Свяжите его со всеми обязательными финальными задачами и используйте подходящее правило успешности, чтобы не запускать следующий процесс после ошибки.

Продумайте повторные запуски: retry или ручное переисполнение триггера не должны случайно создавать дублирующую обработку. Зависимость по dataset/asset лучше выражает готовность данных, а не только факт окончания произвольного графа.

Источник: Документация Apache Kafka.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее