L1-регуляризация добавляет к функции потерь сумму абсолютных значений весов (||w||₁). Это приводит к тому, что при оптимизации многие веса стремятся к нулю, то есть становятся точно равными нулю.
Что такое L1- и L2-регуляризация и почему L1 может занулять веса?
L1-регуляризация добавляет к функции потерь сумму абсолютных значений весов (||w||₁). Это приводит к тому, что при оптимизации многие веса стремятся к нулю, то есть становятся точно равными нулю.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
L1-регуляризация добавляет к функции потерь сумму абсолютных значений весов (||w||₁). Это приводит к тому, что при оптимизации многие веса стремятся к нулю, то есть становятся точно равными нулю.
Механизм:
- Абсолютное значение не дифференцируемо в нуле, что создаёт "угловатый" ландшафт функции потерь.
- При минимизации функции с L1-регуляризацией оптимизатор предпочитает занулять некоторые веса, чтобы уменьшить сумму абсолютных значений.
- В результате модель становится разреженной, то есть с меньшим числом активных признаков.
Это полезно для отбора признаков и предотвращения переобучения.