Для документного NER используют precision, recall и F1 на уровне сущностей с совпадением типа и границ. Дополнительно полезны показатели по каждому типу и по документам.
Какие метрики можно использовать для оценки NER на документах?
Для документного NER используют precision, recall и F1 на уровне сущностей с совпадением типа и границ. Дополнительно полезны показатели по каждому типу и по документам.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Для документного NER используют precision, recall и F1 на уровне сущностей с совпадением типа и границ. Дополнительно полезны показатели по каждому типу и по документам.
Token accuracy часто завышает впечатление из-за частого тега O. Разделите ошибки границ, пропуски и неверные типы, для полей проверьте нормализованное значение. Если допускается частичное совпадение, показывайте его отдельно от строгого exact match.