У пользователя на странице отображается только один постер — как нам сравнить его с теми, которые он не видел (partial feedback)?

Непоказанный постер не имеет наблюдаемого пользовательского отклика, поэтому считать его отрицательным примером нельзя. Для честного сравнения нужны рандомизированные показы и журнал вероятностей выбора.

Сохраняйте контекст, выбранный вариант, propensity и последующий отклик. При достаточном покрытии действий возможна off-policy оценка, например IPS, но маленькие вероятности создают большую дисперсию. Если историческая политика всегда показывала один вариант, эффект остальных по таким логам не идентифицируется без дополнительных предположений. Тогда нужен контролируемый онлайн-эксперимент.

Источник: vowpalwabbit.org.