Что ты знаешь о сериализации и десериализации в контексте Spark/UDF?

В Spark данные и функции пересекают границы процессов, поэтому требуют сериализации. Для Python UDF дополнительно важен обмен между JVM и Python-worker.

Обычная Python UDF может тратить заметное время на передачу и преобразование строк. Pandas UDF использует Arrow для пакетного обмена, но это не делает любую функцию быстрее автоматически.

Если задачу выражают встроенные функции Spark SQL, они часто позволяют избежать Python-границы и дают оптимизатору больше информации. Не захватывайте в UDF подключения и большие объекты без необходимости. Проверяйте план и измеряйте на реальных размерах данных.