По какому принципу работает Spark в целом?

Spark делит данные на партиции и выполняет работу над ними на executors. Driver строит план, а вычисления запускаются при действиях, которым нужен результат.

Преобразования обычно ленивые; обмен между партициями требует shuffle и часто определяет стоимость. Потерянную часть вычисления можно восстановить по зависимостям, если доступен источник. Модель выполнения Spark.