Как сейчас обрабатываются данные? Если они в разных форматах, как нормализуются и приводятся к единой форме?

Сначала сохраняют исходные данные, затем приводят форматы к согласованной схеме: имена полей, типы, даты, единицы и правила отсутствующих значений.

Для разных источников используют явные адаптеры и версионируемые контракты. Неразбираемые строки отправляют в карантин с безопасной диагностикой, а не молча теряют. После преобразования проверяют полноту и качество, сохраняя происхождение записи. Конкретный формат хранения и инструменты называют по фактической архитектуре проекта.