Типичный DAG ежедневно загружает изменения источника, проверяет их, обновляет витрину и уведомляет о результате. Зависимости задают порядок, а не задержки sleep.
Приведи пример типичной задачи по написанию DAG в Airflow.
Типичный DAG ежедневно загружает изменения источника, проверяет их, обновляет витрину и уведомляет о результате. Зависимости задают порядок, а не задержки sleep.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Типичный DAG ежедневно загружает изменения источника, проверяет их, обновляет витрину и уведомляет о результате. Зависимости задают порядок, а не задержки sleep.
Например: extract → validate → transform → publish. Задачи работают с конкретным интервалом данных и идентификатором загрузки, чтобы повтор не создавал дубли. Секреты хранятся в Connections/Secrets, большие данные — во внешнем хранилище. Отдельно определяют таймауты, retries, поведение при ошибке качества и способ backfill.