Как сливали значения BM25 и dense-эмбеддингов перед передачей в reranker (гибридизация)?

Сырые BM25 и cosine/dot-product scores нельзя просто складывать без согласования шкал. Практичный baseline — Reciprocal Rank Fusion по позициям, затем дедупликация и reranker.

Короткий ответ

Что ответить на собеседовании

Сырые BM25 и cosine/dot-product scores нельзя просто складывать без согласования шкал. Практичный baseline — Reciprocal Rank Fusion по позициям, затем дедупликация и reranker.

Подробный разбор

Ответ с пояснениями

Сырые BM25 и cosine/dot-product scores нельзя просто складывать без согласования шкал. Практичный baseline — Reciprocal Rank Fusion по позициям, затем дедупликация и reranker.

Для документа d RRF суммирует 1/(k + rank_i(d)) по спискам, где документ найден; k — настраиваемая константа сглаживания. Альтернатива — нормировать scores и обучить/подобрать веса на отложенной разметке. В reranker передаются объединённые query–document пары, а не одни усреднённые числа. Проверяйте recall до reranking, лимит кандидатов, стабильные ID и фильтры доступа. Параметры выбирают по качеству и latency, не по одному удачному примеру.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее