NDCG@k оценивает порядок ранжирования: релевантные результаты на верхних позициях дают больший вклад. Значение нормируется на идеальную сортировку для того же запроса.
Расскажи, что за оффлайн-метрика NDCG?
NDCG@k оценивает порядок ранжирования: релевантные результаты на верхних позициях дают больший вклад. Значение нормируется на идеальную сортировку для того же запроса.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
NDCG@k оценивает порядок ранжирования: релевантные результаты на верхних позициях дают больший вклад. Значение нормируется на идеальную сортировку для того же запроса.
Один распространённый вариант: DCG@k = Σ(2^rel_i − 1)/log₂(i+1), затем NDCG@k = DCG@k/IDCG@k. Для неотрицательной релевантности результат лежит от 0 до 1; если идеальный gain равен нулю, правило обработки задаётся отдельно, часто возвращают 0. Метрику обычно усредняют по запросам. Она зависит от полноты разметки и выбранного k, поэтому хороший offline-score не гарантирует улучшения пользовательского поведения.