Какие метрики качества модели использовались в медицинском стартапе? Почему именно такие пороговые значения?

В ответе о своём проекте назовите реально использованные метрики, выборку и способ валидации. Для бинарного диагностического классификатора важно различать:

• чувствительность (recall) — долю выявленных случаев среди действительно положительных;
• специфичность — долю отрицательных результатов среди действительно отрицательных;
• precision — долю истинно положительных среди предсказанных положительных, которая зависит и от распространённости состояния в выборке.

ROC-кривая помогает сравнить чувствительность и специфичность при разных порогах, но одна AUC не обосновывает конкретный рабочий порог.

Порог выбирают с учётом назначения системы, последствий ложноположительных и ложноотрицательных результатов, дальнейшей проверки и требований профильных специалистов. Число вроде «90% чувствительности» нельзя объявлять общим правилом для медицинских продуктов. Оценки на независимых данных сопровождают доверительными интервалами и проверкой применимости к целевой популяции.

Не приписывайте стартапу показатели, которых не знаете; обозначьте, какие данные нужны для обоснованного ответа.

Рекомендации FDA по оценке диагностических тестов.