Вели ли дополнительное логирование, кроме логов Airflow?

Логи Airflow показывают ход задач, но часто нужны также метрики качества данных, аудит загрузок и логи внешних систем. В ответе разделите их назначение.

Журнал загрузки может содержать run_id, источник, интервал, число прочитанных/записанных строк, длительность и статус. По нему удобнее искать пропуски и повторные запуски, чем только по traceback задачи.

Технические логи отправляют в централизованное хранилище и связывают с запуском. Не записывайте целые персональные наборы данных, токены и пароли. Описывая опыт, уточните, что действительно использовалось у вас, а что вы лишь предлагаете добавить.