Сырые BM25 и cosine/dot-product scores нельзя просто складывать без согласования шкал. Практичный baseline — Reciprocal Rank Fusion по позициям, затем дедупликация и reranker.
Как сливали значения BM25 и dense-эмбеддингов перед передачей в reranker (гибридизация)?
Сырые BM25 и cosine/dot-product scores нельзя просто складывать без согласования шкал. Практичный baseline — Reciprocal Rank Fusion по позициям, затем дедупликация и reranker.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Сырые BM25 и cosine/dot-product scores нельзя просто складывать без согласования шкал. Практичный baseline — Reciprocal Rank Fusion по позициям, затем дедупликация и reranker.
Для документа d RRF суммирует 1/(k + rank_i(d)) по спискам, где документ найден; k — настраиваемая константа сглаживания. Альтернатива — нормировать scores и обучить/подобрать веса на отложенной разметке. В reranker передаются объединённые query–document пары, а не одни усреднённые числа. Проверяйте recall до reranking, лимит кандидатов, стабильные ID и фильтры доступа. Параметры выбирают по качеству и latency, не по одному удачному примеру.