В обычном методе наименьших квадратов минимизируют J(w) = ||Xw − y||²/(2n). Градиент по весам равен Xᵀ(Xw − y)/n; коэффициент зависит от выбранной нормировки loss.
Какая формула используется для минимизации расстояния между предсказанием и таргетом в линейной регрессии? Как от неё взять производную?
В обычном методе наименьших квадратов минимизируют J(w) = ||Xw − y||²/(2n). Градиент по весам равен Xᵀ(Xw − y)/n; коэффициент зависит от выбранной нормировки loss.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В обычном методе наименьших квадратов минимизируют J(w) = ||Xw − y||²/(2n). Градиент по весам равен Xᵀ(Xw − y)/n; коэффициент зависит от выбранной нормировки loss.
Для одного объекта производная квадрата остатка даёт 2(xᵢᵀw − yᵢ)xᵢ. Суммирование и множитель 1/(2n) сокращают двойку. Свободный член можно включить в X столбцом единиц или дифференцировать отдельно. При L2-регуляризации λ||w||²/2 добавляется λw; intercept обычно не штрафуют.