DAG — описание задач и зависимостей, DAG Run — конкретный запуск этого описания. У каждого запуска есть собственные состояния и экземпляры задач.
Чем отличается DAG от экземпляра DAG (DAG Run) в Airflow?
DAG — описание задач и зависимостей, DAG Run — конкретный запуск этого описания. У каждого запуска есть собственные состояния и экземпляры задач.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
DAG — описание задач и зависимостей, DAG Run — конкретный запуск этого описания. У каждого запуска есть собственные состояния и экземпляры задач.
Один DAG может иметь много запусков по расписанию, вручную или при других событиях. Logical date и data interval описывают логическое время обрабатываемых данных, а не обязательно фактическое начало исполнения. Task instance относится к конкретной задаче в конкретном запуске, поэтому повторный запуск DAG не равен повторению одного Python-объекта.
Источник: Документация Apache Kafka.