ReLU проста: max(0,x), быстро вычисляется и не насыщается на положительной области. Это облегчает прохождение градиента по сравнению с насыщенными sigmoid и tanh.
Почему ReLU такое популярное?
ReLU проста: max(0,x), быстро вычисляется и не насыщается на положительной области. Это облегчает прохождение градиента по сравнению с насыщенными sigmoid и tanh.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
ReLU проста: max(0,x), быстро вычисляется и не насыщается на положительной области. Это облегчает прохождение градиента по сравнению с насыщенными sigmoid и tanh.
Производная равна 1 при x>0 и 0 при x<0; в нуле используют принятое соглашение. Недостаток — «мёртвые» нейроны, постоянно находящиеся в отрицательной области. ReLU не универсально лучшая: выбор активации зависит от архитектуры и обучения.