Подготовка к интервью
Разбирайте реальные вопросы, сверяйтесь с подробными ответами и готовьтесь по технологиям и компаниям.
Проверьте, насколько резюме подходит выбранной позиции, и получите рекомендации по улучшению.
Каталог
DAG описывает задачи и зависимости без направленных циклов. Airflow планирует и отслеживает их запуск; сами вычисления выполняются выбранным механизмом исполнения.
Читать ответRetry — повторная попытка задачи после сбоя. Она помогает пережить временную недоступность сервиса, но не исправляет постоянно неверные данные или ошибочную логику.
Читать ответSensor ждёт выполнения условия: появления файла, готовности данных или завершения внешней операции. После успеха зависимые задачи могут продолжить работу.
Читать ответHook в Airflow инкапсулирует работу с внешним сервисом и получение параметров подключения. Благодаря этому логика задачи не должна самостоятельно разбирать и хранить учётные данные.
Читать ответИнтерфейс Hook зависит от провайдера и внешней системы. Обычно он даёт доступ к настроенному соединению и операциям над сервисом; универсального набора бизнес-методов у всех hooks нет.
Читать ответOperator описывает действие задачи, Hook инкапсулирует подключение к внешней системе, а XCom передаёт небольшие значения между задачами.
Читать ответOperator задаёт тип выполняемого действия, например запуск SQL или Python-кода. Task — конкретный узел DAG с параметрами и зависимостями; Task Instance — его запуск в определённом DAG Run.
Читать ответРазделите постановку требований к пайплайну и самостоятельное создание DAG, задач и зависимостей.
Читать ответ