Опишите реальную задачу с LLM, набор проверок и критерии качества. Если практического опыта нет, представьте методику как возможный подход, а не как выполненный проект.
Расскажите, как вы тестировали большие языковые модели (LLM).
Опишите реальную задачу с LLM, набор проверок и критерии качества. Если практического опыта нет, представьте методику как возможный подход, а не как выполненный проект.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Опишите реальную задачу с LLM, набор проверок и критерии качества. Если практического опыта нет, представьте методику как возможный подход, а не как выполненный проект.
Обычно разделяют корректность ответа, следование инструкции, безопасность, задержку и стоимость. Нужен набор типичных и сложных запросов, повторные прогоны из-за вариативности и человеческая проверка части результатов. Версии модели, промпта и данных фиксируют. Для RAG отдельно оценивают поиск источников. Не ограничивайтесь вопросом «звучит ли правдоподобно»: уверенная формулировка не доказывает фактическую точность.