Используются ли статистики из батча или сохраненные параметры в батч-нормализации на инференсе?

При инференсе (выводе) в батч-нормализации используются сохранённые параметры — усреднённые статистики (среднее и дисперсия), накопленные во время обучения модели, а не статистики текущего батча.

Это связано с тем, что во время инференса модель обычно обрабатывает по одному или небольшому количеству примеров, и статистики по таким маленьким батчам могут быть нестабильными и не отражать общую картину данных.

Поэтому:

• Во время обучения статистики по батчу используются для нормализации и обновления глобальных параметров.
• Во время инференса применяется сохранённое скользящее среднее и дисперсия для нормализации входных данных.

Это обеспечивает стабильность и согласованность работы модели на новых данных.