Что такое divergence from randomness models?

Divergence from randomness models — это класс моделей в информационном поиске, которые оценивают релевантность документов на основе отклонения распределения термов в документе от случайного распределения. Идея в том, что значимые термы встречаются в документе чаще, чем ожидалось при случайном распределении, и это отклонение (divergence) используется для ранжирования.

Например, модели Divergence From Randomness (DFR) используют статистические меры, такие как вероятность появления терма в документе при случайном распределении, и сравнивают с фактической частотой. Чем больше отклонение, тем выше значимость терма для документа.

Это позволяет более точно оценивать релевантность, учитывая статистику распределения слов, а не только простую частоту или TF-IDF.