При аудите датасета как вы обнаружите и исправите систематическое смещение аннотатора — например, если один аннотатор постоянно чрезмерно использует одну метку, — не создавая нового смещения во время исправления?

Сначала отделите смещение аннотатора от различий выданных ему данных. Сравните общие слепые примеры с несколькими независимыми оценками, а не только частоты меток.

Уточните rubric и разберите спорные категории без раскрытия авторства разметки. Исправления делайте через повторную независимую аннотацию и арбитраж, сохранив исходные версии. Проверяйте эффект на отдельной выборке: автоматическая замена «частой» метки может создать противоположное смещение.