Как вы используете Airflow в работе и что бы вы улучшили в его использовании?

Airflow полезен для оркестрации зависимых пакетных задач, расписания, повторов и наблюдения за выполнением. Улучшения выбирают по измеримым проблемам текущего процесса.

В рассказе опишите реальный DAG: источники, зависимости, интервалы, обработку ошибок и публикацию результата. Отдельно назовите, где выполняется тяжёлая обработка — в БД, Spark или worker.

Возможные улучшения: идемпотентность, более короткий parse time, корректный backfill, pools, контроль качества и понятные alerts. Не стоит превращать Airflow в хранилище больших данных через XCom или дробить каждую мелкую операцию в отдельную задачу без пользы.