Объясните ленивые и немедленные вычисления в Spark.

Трансформации Spark обычно строят план лениво, а действия запускают вычисления. Это позволяет оптимизировать цепочку операций до её выполнения.

Вызовы filter, select или map описывают преобразования. Действия вроде count, collect и записи результата инициируют необходимую работу. Ленивость не означает, что при построении плана вообще не бывает обращения к метаданным.

Повторные действия могут заново вычислить общий участок, если результат не сохранён подходящим способом. cache тоже обычно наполняется только после запуска вычисления. Не вызывайте collect для большого набора: он переносит результат в память driver.