Что такое RAG Triad, что означают её метрики и как они считаются?

RAG Triad — три проверки: релевантность контекста запросу, обоснованность ответа контекстом и релевантность ответа вопросу. Они помогают локализовать разные причины плохого результата.

Контекст оценивают по парам «вопрос — фрагмент», groundedness — по поддержке утверждений найденными данными, answer relevance — по соответствию ответа запросу. В TruLens возможна оценка моделью-судьёй с агрегацией. Единой универсальной формулы нет: фиксируйте rubric, шкалу, версии и проверяйте согласие с людьми.

Источник: www.trulens.org.