Какой фреймворк вы использовали для написания пайплайнов? Как использовали Airflow?

Разделите оркестратор и вычислительный инструмент: Airflow управляет зависимостями и запусками, а обработка может выполняться в SQL, Spark или Python.

Опишите один реальный поток: от появления данных до публикации результата. Укажите, где выполнялись вычисления, как передавались параметры и как обрабатывались сбои.

Не называйте Airflow движком распределённого расчёта. Если использовали готовые операторы, расскажите, что настраивали самостоятельно и какие гарантии повторного выполнения обеспечивали.