Пользовались ли вы оптимизатором Spark?

Для SQL и DataFrame Spark строит и оптимизирует план запроса, в частности с помощью Catalyst. Опыт работы с оптимизатором показывают через анализ плана и устранение конкретной причины медленного выполнения.

Назовите пример: лишний shuffle, поздняя фильтрация, тяжёлый JOIN или перекос данных. Сравните план и измерения до и после. Ручная подсказка join не гарантирует ускорение, а adaptive execution может менять план во время исполнения. Не приписывайте себе настройку оптимизатора, если только запускали готовые запросы.