Как dropout помогает избежать переобучения в нейросетях?

Dropout — это техника регуляризации в нейросетях, которая помогает избежать переобучения, случайным образом "выключая" (обнуляя) часть нейронов во время обучения. Это заставляет сеть не полагаться слишком сильно на отдельные нейроны и их связи, а учиться более устойчивым и обобщающим признакам.

Идея в том, что при каждом проходе обучения создаётся случайная подмножество сети, что похоже на обучение ансамбля различных моделей. В итоге модель становится менее склонной к переобучению, так как не может запомнить шум или специфические детали обучающего набора.

Пример использования dropout в Keras:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # отключаем 50% нейронов случайно
    Dense(10, activation='softmax')
])

Здесь Dropout с вероятностью 0.5 отключает половину нейронов слоя во время обучения.