Когда ты строил пайплайны на Airflow, как ты решал проблему junk data (мусорных/невалидных данных)?

Проверяйте схему и бизнес-правила до публикации результата, а невалидные записи отправляйте в карантин с причиной. Критические ошибки должны блокировать зависимые расчёты.

Разделите допустимые отклонения отдельных строк и поломку всего набора. Контролируйте количество отбракованных записей, полноту и свежесть, не выводя чувствительные payload в логи.

В Airflow это можно оформить отдельными quality-задачами и явными зависимостями. Для повторной обработки сохраните исходные данные и версию правил. Опишите собственный процесс, если он был, и не заявляйте, что любой мусор безопасно просто удалять.