Что запускает PythonOperator в Airflow?

PythonOperator выполняет переданный Python callable как задачу Airflow, а не автоматически запускает отдельный .py-файл или Spark-приложение.

Короткий ответ

Что ответить на собеседовании

PythonOperator выполняет переданный Python callable как задачу Airflow, а не автоматически запускает отдельный .py-файл или Spark-приложение.

Подробный разбор

Ответ с пояснениями

PythonOperator выполняет переданный Python callable как задачу Airflow, а не автоматически запускает отдельный .py-файл или Spark-приложение.

Функцию передают в python_callable, аргументы — через op_args и op_kwargs. Код выполняется в среде task worker, поэтому там должны быть нужные зависимости. Ошибка функции приводит к ошибке задачи и может запустить настроенные retries. Для отдельного окружения, контейнера или внешнего вычислительного движка выбирают соответствующий оператор.

Источник: Документация Apache Kafka.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее