У модели A WER 3%, у модели B WER 2%. Какая лучше?

На одинаковом тесте и при одинаковой нормализации модель B имеет меньший WER. Но выбрать её для продукта только по 2% против 3% нельзя: важны значимость разницы и характер ошибок.

Проверьте объём теста, язык, шум, говорящих и доверительный интервал разницы, например парным bootstrap по записям. Ошибки в именах и числах могут быть дороже пропущенного служебного слова. Сравните latency, стоимость и streaming-поведение. Если модели оценены на разных наборах или правилах токенизации, числа напрямую несопоставимы.