Зачем нужна нелинейность в нейронных сетях?

Нелинейность позволяет нейросети моделировать зависимости, которые нельзя выразить одной линейной функцией. Без активаций композиция линейных слоёв сводится к одному аффинному преобразованию.

Например, W₂(W₁x + b₁) + b₂ можно переписать как Wx + b. Добавление ReLU или другой нелинейной функции создаёт более выразительное семейство отображений. Выбор активации влияет на градиенты и обучение. Нелинейность не гарантирует качество автоматически: нужны подходящие данные, архитектура и регуляризация.