Как отследить, в каком запуске DAG появилась конкретная строка в Data Vault?

Добавляйте технический идентификатор загрузки и связывайте его с dag_id, run_id и попыткой задачи в отдельном журнале. Для Data Vault также сохраняйте время загрузки и record_source.

У строки может быть load_batch_id, по которому находится конкретный запуск, интервал источника, версия кода и статус проверки. Business/effective date отвечает за время события, а load timestamp — за время поступления; их нельзя смешивать.

Если строка уже существовала и повторная загрузка её не изменила, полезно отдельно хранить аудит появления в партии. Не перезаписывайте историческое происхождение строки каждым retry. Персональные значения в техническом журнале без необходимости не дублируйте.