Как масштабируют активации при отключении дроп-аута на инференсе?

При использовании дроп-аута во время обучения нейросети случайно отключают часть нейронов, чтобы предотвратить переобучение. Для компенсации этого при инференсе (когда дроп-аут отключен) активации масштабируют, чтобы сохранить ожидаемое значение выходов.

Чаще всего применяется масштабирование весов или активаций на коэффициент, равный обратному вероятности сохранения нейрона (1 / keep_prob). Например, если вероятность сохранения нейрона 0.8, то при инференсе активации умножают на 0.8, чтобы компенсировать отсутствие дроп-аута.

Это позволяет выходам модели во время инференса иметь такую же статистику, как и во время обучения, несмотря на отключение дроп-аута.

Итог: масштабирование активаций при инференсе — это умножение их на вероятность сохранения нейрона, чтобы сохранить баланс и стабильность работы модели.