Теория
По какому принципу работает Spark в целом?
Spark делит данные на партиции и выполняет работу над ними на executors. Driver строит план, а вычисления запускаются при действиях, которым нужен результат.
Читать ответ