Сначала подтвердите skew по распределению ключей и размеру partitions. Для крупного клиента подходят salting, отдельная обработка или изменение стратегии join и агрегации.
Как вы исправляли перекос данных по client_id, когда один клиент был существенно больше остальных? Какие есть варианты?
Сначала подтвердите skew по распределению ключей и размеру partitions. Для крупного клиента подходят salting, отдельная обработка или изменение стратегии join и агрегации.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Сначала подтвердите skew по распределению ключей и размеру partitions. Для крупного клиента подходят salting, отдельная обработка или изменение стратегии join и агрегации.
При salting горячий ключ делят на несколько искусственных, затем при необходимости объединяют частичные результаты. Для join нужно корректно подготовить вторую сторону, иначе совпадения потеряются. Broadcast малой таблицы может убрать перераспределение по client_id. Простое увеличение числа partitions не разделит один горячий ключ само по себе.