Как оценивать модель без учителя для задачи ответов на вопросы?

Оценка моделей без учителя для задачи ответов на вопросы (Question Answering) — сложная задача, так как нет явных меток правильных ответов. Возможные подходы:

• Кластеризация и семантическое сходство:

  • Использовать эмбеддинги вопросов и ответов (например, с помощью моделей BERT).
  • Оценивать, насколько ответы близки по смыслу к вопросам.

• Метрики когерентности и связности:

  • Проверять, насколько ответы логично связаны с вопросами.
  • Можно использовать языковые модели для оценки правдоподобия ответа.

• Использование внешних знания или правил:

  • Проверять фактологическую корректность ответов с помощью баз знаний.

• Human-in-the-loop:

  • Частичная оценка с помощью экспертов для создания эталонных примеров.

• Автоматические proxy-метрики:

  • Perplexity (запутанность) модели на ответах.
  • Сравнение распределения ответов с ожидаемым.

В целом, без учителя часто применяют косвенные метрики качества и семантические меры, а также комбинируют с частичной разметкой или экспертной оценкой.