Разделите оценку RAG на поиск и генерацию: recall@k или ranking-метрики для найденных документов, затем правильность, полнота и groundedness ответа. Добавьте latency и стоимость.
Какие метрики RAG вы использовали, как и почему?
Разделите оценку RAG на поиск и генерацию: recall@k или ranking-метрики для найденных документов, затем правильность, полнота и groundedness ответа. Добавьте latency и стоимость.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Разделите оценку RAG на поиск и генерацию: recall@k или ranking-метрики для найденных документов, затем правильность, полнота и groundedness ответа. Добавьте latency и стоимость.
Расскажите о реально использованном наборе и способе разметки источников. Ссылки на документы сами по себе не доказывают обоснованность ответа. Выбор метрик должен помогать локализовать ошибки и подтверждать улучшения на отложенных запросах.