Объясните, какую повторяющуюся задачу решал оператор и почему стандартных средств было недостаточно. Логику доступа к сервису обычно выносят в hook или библиотеку.
Был ли опыт разработки собственных операторов для Airflow? Расскажи цели и задачи.
Объясните, какую повторяющуюся задачу решал оператор и почему стандартных средств было недостаточно. Логику доступа к сервису обычно выносят в hook или библиотеку.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Объясните, какую повторяющуюся задачу решал оператор и почему стандартных средств было недостаточно. Логику доступа к сервису обычно выносят в hook или библиотеку.
Примером может быть загрузка из внутреннего API с едиными проверками и параметрами. Важно продумать шаблонизацию, connections, таймауты, retries и идемпотентность.
Не выполняйте тяжёлую работу и сетевые обращения при создании объекта во время разбора DAG: основная логика должна запускаться при выполнении задачи. Если собственных операторов не писали, можно описать понимание конструкции, не выдавая его за опыт.