Что является триггером для создания нового Job в Spark, и как Job делится на Stages и Tasks?

Вычисление Spark запускается действием вроде count, collect или записи. Job разбивается на stages по границам shuffle, а stage — на tasks для partitions.

Узкие преобразования обычно объединяются в один stage. При широких зависимостях данные перераспределяются, и следующий этап ждёт нужные результаты. Task — единица работы над partition в данном этапе, а не отдельная строка. Одно высокоуровневое действие не всегда означает ровно один job: дополнительные вычисления и адаптивный план могут усложнять картину.

Источник: Документация Apache Kafka.