Transformation описывает новый набор данных, например filter или map, обычно без немедленного вычисления. Action требует результата, например count, collect или запись, и запускает выполнение зависимостей.
Что такое transformation и action в Spark?
Transformation описывает новый набор данных, например filter или map, обычно без немедленного вычисления. Action требует результата, например count, collect или запись, и запускает выполнение зависимостей.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Transformation описывает новый набор данных, например filter или map, обычно без немедленного вычисления. Action требует результата, например count, collect или запись, и запускает выполнение зависимостей.
Не используйте collect для большого набора: результат окажется в памяти driver. Ленивость позволяет объединять преобразования и избегать ненужной работы. Преобразования и действия Spark.