У какой части (BM25 или dense) значения ненормализованы?

BM25 обычно не нормализован в общий фиксированный диапазон. Dense-score тоже не обязательно нормализован: cosine ограничен, а dot product без нормировки может иметь произвольный масштаб.

Нормализация векторов и калибровка релевантности — разные операции. Даже cosine в [−1,1] нельзя автоматически складывать с BM25 с равными весами и считать сравнение честным. Для hybrid search используют rank fusion либо настраиваемое преобразование score на валидации. Конкретный диапазон также зависит от того, как API преобразует расстояние в score.