В чём разница между L1 и L2 регуляризацией в линейных моделях?

Регуляризация — это метод предотвращения переобучения модели за счёт добавления штрафа к функции потерь.

Основные методы регуляризации:

• L1-регуляризация (Lasso): добавляет к функции потерь сумму абсолютных значений весов. Это приводит к разреженности модели — многие веса становятся равны нулю, что помогает в отборе признаков.
• L2-регуляризация (Ridge): добавляет сумму квадратов весов. Она стремится уменьшить веса, но не обнуляет их полностью, что помогает сделать модель более устойчивой.
• Dropout (в нейронных сетях): случайное отключение нейронов во время обучения для предотвращения зависимости от отдельных признаков.
• Early stopping: остановка обучения, когда ошибка на валидации перестаёт уменьшаться.

Отличия L1 и L2:

• L1 приводит к разреженным решениям (многие коэффициенты становятся нулём), что полезно для отбора признаков.
• L2 уменьшает веса, но не обнуляет их, что помогает сгладить модель и уменьшить влияние шумных признаков.

Пример L2-регуляризации в функции потерь:

loss = mse_loss + lambda_ * sum(w**2 for w in weights)

Для L1:

loss = mse_loss + lambda_ * sum(abs(w) for w in weights)