При лимите K контактов оценивайте качество верхних K позиций: precision@K, lift@K и ожидаемую ценность кампании. Общая accuracy может почти ничего не говорить о полезности отбора.
Если можно коммуницировать только с ограниченным числом клиентов, как оценивать такую скоринговую модель?
При лимите K контактов оценивайте качество верхних K позиций: precision@K, lift@K и ожидаемую ценность кампании. Общая accuracy может почти ничего не говорить о полезности отбора.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
При лимите K контактов оценивайте качество верхних K позиций: precision@K, lift@K и ожидаемую ценность кампании. Общая accuracy может почти ничего не говорить о полезности отбора.
Сравните с текущим правилом при одинаковом бюджете контактов, учитывая стоимость обращения и результат. Если цель — дополнительная покупка из-за коммуникации, propensity к покупке недостаточно: нужен uplift и контрольная группа. Порог и K задаются ограничением бизнеса, а не выбираются по удобному результату теста.