В Spark UI на одном stage одна task стабильно выполняется значительно дольше остальных. О чём думать и как это диагностировать и исправлять?

Одна медленная task часто указывает на skew, но причиной могут быть также проблемный узел, большой раздел, spill, GC или медленный внешний источник.

Сравните input/shuffle size, время вычислений, GC и spill этой задачи с остальными; проверьте, повторяется ли проблема на другом executor. При skew помогают изменение ключа/разбиения, предварительная агрегация, broadcast малой стороны или поддерживаемая AQE-обработка. При проблеме узла увеличение числа partitions не лечит причину. Исправление выбирают после измерений.

Источник: Документация Apache Kafka.