Оценивайте агента по проверяемому результату задачи, корректности действий, соблюдению ограничений и затратам. LLM-судья — лишь один сигнал, а не единственный источник истины.
Как ещё можно оценивать агента, помимо LLM-as-a-Judge: какими критериями понять, что он работает правильно или близко к правильному?
Оценивайте агента по проверяемому результату задачи, корректности действий, соблюдению ограничений и затратам. LLM-судья — лишь один сигнал, а не единственный источник истины.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Оценивайте агента по проверяемому результату задачи, корректности действий, соблюдению ограничений и затратам. LLM-судья — лишь один сигнал, а не единственный источник истины.
Используйте детерминированные проверки, эталонные задачи, симуляторы инструментов и человеческую оценку спорных случаев. Измеряйте success rate, лишние вызовы, повторы, latency, стоимость и нарушения доступа. Отдельно проверяйте ошибки инструментов и восстановление: красивый финальный текст не доказывает правильное выполнение.