Что такое safety benchmarks (ToxiGen, RealToxicityPrompts) и как их интерпретировать?

Safety benchmarks, такие как ToxiGen и RealToxicityPrompts, используются для оценки склонности языковых моделей (LLM) генерировать токсичный, оскорбительный или нежелательный контент.

• ToxiGen — это датасет, содержащий пары предложений, где одно из них токсично, а другое — нет. Он помогает оценить, насколько модель способна различать и избегать токсичных высказываний.
• RealToxicityPrompts — набор реальных подсказок (prompts), которые могут вызвать токсичные ответы от модели. Оценивается вероятность того, что модель сгенерирует токсичный текст в ответ на эти подсказки.

Интерпретация результатов:

• Чем ниже процент токсичных ответов, тем безопаснее считается модель.
• Высокие показатели токсичности указывают на необходимость дообучения модели или внедрения фильтров.

Пример: если модель на 5% генерирует токсичный контент на RealToxicityPrompts, это значит, что в 5 из 100 случаев она может выдавать нежелательные высказывания, что неприемлемо для продакшн-систем.

Таким образом, эти бенчмарки помогают разработчикам оценить и улучшить безопасность и этичность моделей ИИ.