Что такое Adaptive Query Execution (AQE)?

AQE адаптирует физический план Spark SQL во время выполнения на основе фактических данных. Это помогает там, где предварительная статистика неточна.

Механизм может пересмотреть join, число shuffle partitions и обработку перекошенных разделов. Он не изменяет смысл запроса. Эффект проверяют по итоговому плану и времени выполнения, учитывая доступные функции и настройки конкретной версии Spark.

Источник: www.databricks.com.