ReLU — функция активации f(x) = max(0, x). Она добавляет нелинейность и сохраняет ненулевой градиент на положительной области, помогая обучать глубокие сети.
Что такое ReLU и зачем используется?
ReLU — функция активации f(x) = max(0, x). Она добавляет нелинейность и сохраняет ненулевой градиент на положительной области, помогая обучать глубокие сети.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
ReLU — функция активации f(x) = max(0, x). Она добавляет нелинейность и сохраняет ненулевой градиент на положительной области, помогая обучать глубокие сети.
Без нелинейных активаций последовательность линейных слоёв эквивалентна одному линейному преобразованию. Производная ReLU равна 1 при x > 0 и 0 при x < 0; в нуле выбирается соглашение реализации. Недостаток — «мёртвые» нейроны, постоянно получающие отрицательный вход. Leaky ReLU оставляет небольшой наклон на отрицательной стороне.