Почему выбрали гибридный поиск BM25 + эмбеддинги вместо только косинусного расстояния?

Гибридный поиск, объединяющий BM25 и эмбеддинги, позволяет компенсировать ограничения каждого из методов при работе с текстом.

BM25 — это классический метод на основе статистики частоты слов и обратной частоты документов, который хорошо работает для точного совпадения ключевых слов и учитывает важность терминов. Однако он не улавливает семантические связи и синонимы.

Эмбеддинги (например, из моделей трансформеров) отражают семантическое сходство между текстами, позволяя находить релевантные документы даже при отсутствии точных совпадений слов. Но они могут быть менее точны в учёте специфических терминов и часто требуют больших вычислительных ресурсов.

Объединение BM25 и эмбеддингов позволяет:

• Использовать сильные стороны BM25 для точного поиска по ключевым словам.
• Добавить семантический поиск через эмбеддинги для расширения релевантности.
• Улучшить качество результатов, особенно в случаях с разными формулировками и синонимами.

Пример: сначала с помощью BM25 выбирается набор релевантных документов, затем они ранжируются или дополняются результатами эмбеддингового поиска, что повышает точность и полноту выдачи.