Как работает контрастный лосс с in-batch негативами?

В batch из пар query–positive документы других пар используют как негативы для данного query. Loss повышает similarity правильной пары относительно остальных, обычно через softmax с температурой.

Для пары i можно записать Lᵢ = −log(exp(s(qᵢ,dᵢ)/τ) / Σⱼexp(s(qᵢ,dⱼ)/τ)). Среднее берут по batch. Это даёт много негативов без отдельных вызовов энкодера, но требует контроля ложных негативов: другой документ в batch тоже может быть релевантным. Размер batch и температура влияют на сложность задачи и градиенты.