Sampled softmax — это приближённый метод вычисления функции softmax, используемый в задачах с очень большим числом классов (например, в рекомендательных системах или языковых моделях с огромным словарём). Вместо того чтобы вычислять полное распределение вероятностей по всем классам, sampled softmax выбирает случайную подвыборку негативных классов и вычисляет softmax только по ним и по положительному (целевому) классу.
Что такое sampled softmax и в чём его выигрыш по compute?
Sampled softmax — это приближённый метод вычисления функции softmax, используемый в задачах с очень большим числом классов (например, в рекомендательных системах или языковых моделях с огромным словарём).
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Sampled softmax — это приближённый метод вычисления функции softmax, используемый в задачах с очень большим числом классов (например, в рекомендательных системах или языковых моделях с огромным словарём). Вместо того чтобы вычислять полное распределение вероятностей по всем классам, sampled softmax выбирает случайную подвыборку негативных классов и вычисляет softmax только по ним и по положительному (целевому) классу.
Выгоды по вычислительной сложности:
- Значительно сокращается количество операций умножения и экспонент, так как не нужно обрабатывать все классы.
- Позволяет обучать модели с огромным числом классов, что было бы невозможно при полном softmax из-за ограничений по памяти и времени.
Пример: если у вас 1 миллион классов, а sampled softmax берёт 100 негативных примеров, то вычисления происходят только по 101 классу вместо миллиона, что даёт огромный выигрыш по скорости и ресурсам.