LayerNorm нормализует признаки одного примера по выбранным измерениям, затем применяет обучаемые масштаб и сдвиг. В Transformer обычно нормализуется скрытый вектор отдельного токена.
Расскажи про Layer Norm
LayerNorm нормализует признаки одного примера по выбранным измерениям, затем применяет обучаемые масштаб и сдвиг. В Transformer обычно нормализуется скрытый вектор отдельного токена.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
LayerNorm нормализует признаки одного примера по выбранным измерениям, затем применяет обучаемые масштаб и сдвиг. В Transformer обычно нормализуется скрытый вектор отдельного токена.
Для x используют y = γ·(x−μ)/√(σ²+ε)+β, где μ и σ² вычисляются по нормализуемым компонентам. В отличие от BatchNorm, статистики разных объектов batch не объединяются. Нужно явно указать оси: LayerNorm по последнему измерению и по нескольким измерениям — разные операции.