Был ли опыт оптимизации Spark-задач? Можешь привести конкретный пример?

Начните с узкого места в Spark UI и плане выполнения, затем назовите изменение и измеренный результат на сопоставимых данных.

Подходящий пример — перекос ключей при join: несколько задач работают гораздо дольше остальных и создают большой shuffle. Возможные меры зависят от причины: фильтрация до соединения, broadcast небольшой стороны, корректировка разбиения или обработка skew. После изменения сравнивают время, объём shuffle и spill, а также правильность результата. Приводите свои измерения, не выдумывайте ускорение.