Bizdev в админке отранжировал партнеров по CPM (кто платит больше — выше), что привело к падению итоговых выдач при сохранении конверсии каждого партнера. В чем проблема такого подхода и по какой метрике правильнее ранжировать партнеров?

Ранжирование только по цене игнорирует вероятность успешного целевого действия. Если цель — выдачи, сравнивают ожидаемые выдачи на показ; если доход — ожидаемый доход на показ.

Даже при неизменной конверсии каждого партнёра изменение долей трафика меняет общий результат: больше показов могло уйти партнёру с меньшей вероятностью выдачи. Для оплаты за выдачу ожидаемый доход равен вероятности выдачи, умноженной на вознаграждение. Если CPM — буквально плата за тысячу показов, он отражает доход с показов, но не число выдач. Поэтому сначала уточняют модель оплаты и бизнес-цель, затем проверяют ранжирование экспериментом.