Линейная регрессия — это метод машинного обучения для моделирования зависимости между независимыми переменными (фичами) и зависимой переменной (целевой). Алгоритм пытается подобрать параметры (коэффициенты) линейной функции, чтобы минимизировать ошибку между предсказанными значениями и реальными.
Что такое линейная регрессия и какие варианты её решения существуют?
Линейная регрессия — это метод машинного обучения для моделирования зависимости между независимыми переменными (фичами) и зависимой переменной (целевой).
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Линейная регрессия — это метод машинного обучения для моделирования зависимости между независимыми переменными (фичами) и зависимой переменной (целевой). Алгоритм пытается подобрать параметры (коэффициенты) линейной функции, чтобы минимизировать ошибку между предсказанными значениями и реальными.
Обучается вектор коэффициентов ( \mathbf{w} ) и смещение ( b ) в модели:
[ y = \mathbf{w}^T \mathbf{x} + b ]
Цель — минимизировать функцию потерь, обычно среднеквадратичную ошибку (MSE):
[ L(\mathbf{w}, b) = \frac{1}{n} \sum_{i=1}^n (y_i - (\mathbf{w}^T \mathbf{x}_i + b))^2 ]
Аналитическое решение существует и выражается через нормальное уравнение:
[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]
где ( X ) — матрица признаков, ( \mathbf{y} ) — вектор целевых значений. Это решение эффективно для небольших и средних наборов данных, но при больших размерах или мультиколлинеарности предпочтительнее использовать численные методы (градиентный спуск).