cache и persist позволяют повторно использовать вычисленные данные, уменьшая повторные расчёты. persist даёт выбрать уровень хранения, а cache использует стандартный для данного API.
Зачем нужны cache и persist в Spark?
cache и persist позволяют повторно использовать вычисленные данные, уменьшая повторные расчёты. persist даёт выбрать уровень хранения, а cache использует стандартный для данного API.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
cache и persist позволяют повторно использовать вычисленные данные, уменьшая повторные расчёты. persist даёт выбрать уровень хранения, а cache использует стандартный для данного API.
Данные обычно материализуются при последующем действии. Повторное использование выгодно, если сохранённый участок действительно нужен несколько раз и помещается в выбранные ресурсы.
Освобождайте ненужное через unpersist. Уровни по умолчанию отличаются между RDD, DataFrame и версиями Spark, поэтому не приравнивайте cache безусловно к хранению только в RAM.