Зачем нужна нормализация (Layer Norm) — зачем стабилизировать обучение?

LayerNorm уменьшает чувствительность слоя к масштабу входных активаций и облегчает оптимизацию. Более стабильные распределения помогают обучать глубокие сети, но не гарантируют сходимость.

Нормализованные признаки затем масштабируются и сдвигаются обучаемыми параметрами. Это не делает все токены одинаковыми и не заменяет хороший learning rate, residual-связи и корректную инициализацию. Важно расположение нормализации в блоке и выбранные оси.