Как проверить, что LLM-as-a-Judge корректно оценивает качество и как проводить её калибровку?

Сопоставьте оценки судьи с независимо размеченным экспертами набором. Проверьте согласие, стабильность, чувствительность к порядку ответов и склонность предпочитать более длинные формулировки.

Зафиксируйте rubric, примеры и версию judge. Меняйте порядок пар, добавьте заведомые ошибки и одинаковые по смыслу ответы разной длины. Калибруйте критерии на dev-наборе, проверяйте на отдельном holdout; спорные и критичные случаи оставляйте человеку. Высокое самосогласие не доказывает правильность.

Источник: arxiv.org.