Что такое ленивые операции в Spark и для чего они нужны?

Ленивые операции Spark описывают преобразования, но откладывают вычисление до действия, которому нужен результат. Это позволяет оптимизировать общий план.

filter, select и map обычно формируют цепочку, а count, collect или запись запускают необходимую работу. При этом получение схемы и метаданных может происходить раньше.

Повторное действие способно повторить расчёт, если результат не сохранён. Ленивость не означает автоматическое кеширование или отсутствие затрат на планирование.