Без dbt нужно отдельно обеспечить запуск преобразований, зависимости, тестирование, инкременты и публикацию витрин. Сам перенос SQL в Airflow не заменяет все эти функции.
Как в новой инфраструктуре реализован flow раскладки данных в DWH без dbt?
Без dbt нужно отдельно обеспечить запуск преобразований, зависимости, тестирование, инкременты и публикацию витрин. Сам перенос SQL в Airflow не заменяет все эти функции.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Без dbt нужно отдельно обеспечить запуск преобразований, зависимости, тестирование, инкременты и публикацию витрин. Сам перенос SQL в Airflow не заменяет все эти функции.
Возможная схема: raw-слой → staging → промежуточные модели → marts, с SQL в системе контроля версий и оркестрацией по зависимостям. Каждый шаг имеет входы, контроль качества и правило повторного запуска. Важны идемпотентность, обработка поздних изменений и атомарная публикация результата. Конкретную архитектуру команды следует описывать по фактам, а не выдавать этот пример за её устройство.