Регуляризацию можно представить как ограничение допустимой области коэффициентов. L2 задаёт шар, L1 — многогранник с вершинами на осях, где некоторые коэффициенты равны нулю.
Расскажи про геометрический смысл регуляризации.
Регуляризацию можно представить как ограничение допустимой области коэффициентов. L2 задаёт шар, L1 — многогранник с вершинами на осях, где некоторые коэффициенты равны нулю.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Регуляризацию можно представить как ограничение допустимой области коэффициентов. L2 задаёт шар, L1 — многогранник с вершинами на осях, где некоторые коэффициенты равны нулю.
Линии уровня ошибки расширяются до касания области ограничения. У L1 касание часто попадает на угловую часть, что объясняет разреженность; у L2 граница гладкая и веса обычно остаются ненулевыми. Форма области зависит от масштаба признаков, поэтому стандартизация важна.