Как выполнялось тестирование LLM: вручную или автоматизированно?

Нужны оба подхода: автоматизация проверяет контракты и повторяемые наборы примеров, а ручная оценка помогает исследовать качество, неоднозначность и новые риски.

Не следует сравнивать весь ответ LLM с одной эталонной строкой, если допустимы разные корректные формулировки. Задайте рубрику: фактическая точность, полнота, соблюдение ограничений и безопасность. Технические сценарии с timeout и неверным форматом проверяют подменой провайдера; реальные прогоны выполняют отдельно с контролем бюджета. Результаты агрегируют по набору, учитывая вариативность. Автоматический судья может помогать, но его ошибки и смещения тоже требуют проверки.