Градиентный спуск обновляет параметры против градиента функции потерь: w ← w − η∇J(w). Основные варианты различаются количеством примеров для одного обновления: batch, stochastic и mini-batch.
Расскажи про градиентный спуск: какие виды бывают?
Градиентный спуск обновляет параметры против градиента функции потерь: w ← w − η∇J(w). Основные варианты различаются количеством примеров для одного обновления: batch, stochastic и mini-batch.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Градиентный спуск обновляет параметры против градиента функции потерь: w ← w − η∇J(w). Основные варианты различаются количеством примеров для одного обновления: batch, stochastic и mini-batch.
Batch использует всю выборку, SGD в узком смысле — один пример, mini-batch — небольшую группу. Momentum накапливает направление, адаптивные методы меняют масштаб шага по координатам. Learning rate слишком большой вызывает нестабильность, слишком маленький замедляет обучение. Для невыпуклой задачи нельзя гарантировать достижение глобального минимума одним выбором оптимизатора.