Как бы вы количественно оценили влияние выбросов на метрики модели, например accuracy или F1-score?

Сравните метрики на фиксированном test с выбросами и без них, отдельно показав число исключённых объектов. Затем проверьте чувствительность обучения к загрязнению train.

Определение выброса задайте заранее, не удаляйте неудобные ошибки по результату модели. Используйте несколько уровней загрязнения и доверительные интервалы, учитывайте класс и важность редких случаев. Улучшение F1 после удаления примеров может отражать лишь изменение состава test, а не более устойчивую модель.