Чем отличается кросс-энкодер (ранкер) от би-энкодера?

В RAG (Retrieval-Augmented Generation) re-ranker — это компонент, который переоценивает и сортирует документы или фрагменты, извлечённые из базы знаний, чтобы выбрать наиболее релевантные для генерации ответа.

Основные типы моделей re-ranker:

• Cross-encoder: модель, которая принимает пару (вопрос, документ) и одновременно обрабатывает их, вычисляя релевантность. Это более точный, но вычислительно дорогой подход, так как каждый документ обрабатывается вместе с запросом.
• BGE-reranker (Bi-Encoder): модели, которые кодируют вопрос и документы отдельно в векторы, а затем вычисляют косинусное сходство. Быстрее, но может быть менее точным, чем cross-encoder.

В RAG часто сначала используется быстрый би-энкодер для предварительного отбора, а затем cross-encoder для точного ранжирования. Re-ranker помогает повысить качество выбора документов, что улучшает итоговую генерацию ответа.