Job — вычисление для получения результата; его делят на stages по границам shuffle. Stage состоит из tasks, каждая из которых обрабатывает свою партицию.
Что такое Spark Job, Stage и Task?
Job — вычисление для получения результата; его делят на stages по границам shuffle. Stage состоит из tasks, каждая из которых обрабатывает свою партицию.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Job — вычисление для получения результата; его делят на stages по границам shuffle. Stage состоит из tasks, каждая из которых обрабатывает свою партицию.
Одна action может потребовать нескольких jobs в зависимости от API и плана. Число tasks определяется партициями, а не числом узлов; повторная попытка — не новый логический раздел данных. Выполнение Spark.