Подготовка к интервью
20 вопросов по Airflow с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по Airflow — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: airflow, Airflow, workflow orchestration.
Каталог
В Apache Airflow для передачи данных между задачами обычно используют XCom (Cross-Communication).
Читать ответЛоги задач Airflow обычно состоят из нескольких ключевых частей:
Читать ответИдемпотентность DAG или таска в Airflow означает, что повторный запуск того же DAG или задачи не приводит к изменению результата или состоянию, отличному от первого успешного выполнения.
Читать ответЛоги задач в Apache Airflow можно посмотреть несколькими способами:
Читать ответПомимо написания DAG в Airflow, на Python часто реализуются следующие задачи в области Data Engineering:
Читать ответПри написании Airflow DAG и джоб я стараюсь избегать ручного копирования и вставки кода ("сорок руками").
Читать ответВ Apache Airflow часто применяю нестандартные элементы для повышения гибкости и удобства управления пайплайнами. Например:
Читать ответВ Apache Airflow для создания множества одинаковых тасков параллельно обычно используют динамическое создание тасков в цикле или оператор TaskGroup для группировки.
Читать ответВ Airflow я использовал различные операторы в зависимости от задачи:
Читать ответXCom (Cross-Communication) в Apache Airflow — это механизм обмена небольшими данными между задачами внутри DAG. Особенности использования XCom:
Читать ответDAG (Directed Acyclic Graph) в Airflow — это направленный ацикличный граф, который описывает порядок выполнения задач (tasks) в рамках рабочего процесса (workflow).
Читать ответDAG описывает задачи и зависимости без направленных циклов. Airflow планирует и отслеживает их запуск; сами вычисления выполняются выбранным механизмом исполнения.
Читать ответ