Broadcast join распространяет небольшую сторону соединения на executors, чтобы они сопоставляли её со своими частями большого набора без перераспределения большого входа.
Что такое broadcast join в Spark?
Broadcast join распространяет небольшую сторону соединения на executors, чтобы они сопоставляли её со своими частями большого набора без перераспределения большого входа.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Broadcast join распространяет небольшую сторону соединения на executors, чтобы они сопоставляли её со своими частями большого набора без перераспределения большого входа.
Это выгодно, когда подготовленная малая таблица помещается в памяти с запасом. Размер сжатого файла не равен размеру хеш-структуры в RAM.
Проверьте план и фактический объём, прежде чем принудительно включать broadcast. Для разных условий Spark может использовать hash или nested loop; сама рассылка не гарантирует дешёвое соединение.