По каким критериям ты бы оценил эффективность рекомендательной системы, которая берёт задания из базы или генерирует через LLM?

Оценивайте не только клики на задания, но и их релевантность, корректность, сложность и влияние на обучение. Для LLM-генерации добавляются проверки решаемости, ответа и отсутствия повторов.

Offline-набор должен включать экспертную оценку тем, уровней и ошибок. В продукте измеряйте начало и завершение задания, полезность обратной связи и изменение навыка, учитывая исходный уровень пользователя. Контролируйте разнообразие, безопасность, latency и стоимость. Высокий CTR может означать привлекательный заголовок, а не полезное упражнение.