Проверки качества данных (Data Quality) — на каком этапе, какие проверки, что происходит с невалидными данными?

Проверки нужны на входе, после преобразований и перед публикацией. Невалидные строки изолируют, а критические ошибки набора блокируют дальнейшее использование.

На входе проверяют схему и типы, затем — ключи, полноту и бизнес-инварианты, на выходе — свежесть и сверку агрегатов. Порог допустимых отклонений должен быть явным.

Сохраняйте причины отбраковки и возможность повторной обработки, не помещая чувствительные данные в логи. Успешный SQL-запрос ещё не означает качественный результат.