Как измеряешь качество ответов, какие конкретные метрики используешь, чтобы это не было 'на глаз'?

Нужен фиксированный набор вопросов с критериями и эталонами, где они возможны. Измеряйте корректность, полноту, следование инструкции, обоснованность источниками, задержку и стоимость.

Для классификации подходят precision/recall, для задач с однозначным ответом — exact match, для генерации — рубрика и проверка экспертом. LLM-as-judge полезен лишь после калибровки и контроля смещений. Сравнивайте версии на одном наборе, отдельно рассматривайте типы ошибок и не заменяйте качество одной красивой средней оценкой.