PythonOperator выполняет переданный Python callable как задачу Airflow, а не автоматически запускает отдельный .py-файл или Spark-приложение.
Что запускает PythonOperator в Airflow?
PythonOperator выполняет переданный Python callable как задачу Airflow, а не автоматически запускает отдельный .py-файл или Spark-приложение.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
PythonOperator выполняет переданный Python callable как задачу Airflow, а не автоматически запускает отдельный .py-файл или Spark-приложение.
Функцию передают в python_callable, аргументы — через op_args и op_kwargs. Код выполняется в среде task worker, поэтому там должны быть нужные зависимости. Ошибка функции приводит к ошибке задачи и может запустить настроенные retries. Для отдельного окружения, контейнера или внешнего вычислительного движка выбирают соответствующий оператор.
Источник: Документация Apache Kafka.