Чем отличаются режимы запуска Spark: cluster, client и local?

Client и cluster определяют расположение driver: у клиента или внутри кластера. Local запускает вычисления локально и не является третьим deploy mode.

В client mode процесс driver работает рядом со spark-submit и должен быть доступен executors по сети. В cluster mode его запускает менеджер кластера.

Local задаётся через master, например local[2], и использует локальные потоки без отдельного распределённого кластера. Такой режим удобен для небольших запусков. Не путайте deploy mode с менеджером ресурсов: YARN, Kubernetes и standalone определяют способ управления кластером.

Источник: Документация Apache Kafka.