Теория
Что такое Spark Job, Stage и Task?
Job — вычисление для получения результата; его делят на stages по границам shuffle. Stage состоит из tasks, каждая из которых обрабатывает свою партицию.
Читать ответ