Driver управляет приложением и планирует задачи, executors выполняют вычисления, cluster manager выделяет ресурсы. У этих компонентов разные зоны ответственности.
Что такое Driver, Executor и Cluster Manager в Spark?
Driver управляет приложением и планирует задачи, executors выполняют вычисления, cluster manager выделяет ресурсы. У этих компонентов разные зоны ответственности.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Driver управляет приложением и планирует задачи, executors выполняют вычисления, cluster manager выделяет ресурсы. У этих компонентов разные зоны ответственности.
Driver получает ресурсы, отправляет задачи и собирает служебные результаты. Executors обрабатывают partitions, хранят кеш и участвуют в обмене данными. Cluster manager, например YARN или Kubernetes, управляет размещением ресурсов, а не оптимизацией SQL. Потеря driver и потеря отдельного executor имеют разные последствия для приложения.
Источник: Документация Apache Kafka.