Hook в Airflow инкапсулирует работу с внешним сервисом и получение параметров подключения. Благодаря этому логика задачи не должна самостоятельно разбирать и хранить учётные данные.
Расскажите подробнее, что такое hooks в Airflow и как вы их использовали.
Hook в Airflow инкапсулирует работу с внешним сервисом и получение параметров подключения. Благодаря этому логика задачи не должна самостоятельно разбирать и хранить учётные данные.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Hook в Airflow инкапсулирует работу с внешним сервисом и получение параметров подключения. Благодаря этому логика задачи не должна самостоятельно разбирать и хранить учётные данные.
В примере из опыта назовите провайдер, Connection ID и операцию без раскрытия секрета: запрос в БД, выгрузку файла или запуск внешней работы. Разделяйте Hook и Operator: первый помогает взаимодействовать с системой, второй оформляет действие как задачу DAG. Интерфейсы Airflow.