Приходилось ли работать с оптимизатором AQE (Adaptive Query Execution) в Spark? Знаешь ли, как он работает?

AQE меняет физический план Spark во время выполнения, используя фактическую статистику. Это помогает адаптироваться к размеру данных и перекосу распределения.

Типичные возможности — объединение мелких shuffle partitions, смена стратегии join и обработка skew join. Сравнивайте начальный и итоговый планы и показатели Spark UI. AQE не исправляет неправильную бизнес-логику, взрывное размножение строк или любой дисбаланс автоматически; возможности зависят от вида операции и настроек.

Источник: Документация Apache Kafka.