Какие защиты применяют (input/output фильтры, system prompt hardening, guardrails)?

Защиты в системах с ИИ и машинным обучением включают несколько уровней:

• Input фильтры — проверяют и очищают входные данные, чтобы предотвратить ввод вредоносных или некорректных запросов. Например, фильтрация токсичного контента, SQL-инъекций или попыток обойти модель.
• Output фильтры — анализируют и корректируют ответы модели, чтобы исключить нежелательный, опасный или конфиденциальный контент. Это помогает избежать утечек данных и генерации вредоносных инструкций.
• System prompt hardening — усиление системных подсказок (system prompts) для ограничения поведения модели, например, чёткое определение ролей, правил и ограничений, чтобы модель не выходила за рамки допустимого.
• Guardrails — набор правил и ограничений, реализованных на уровне логики приложения или модели, которые предотвращают нежелательные действия, такие как генерация запрещённого контента, обход фильтров или выполнение опасных команд.

Пример: при создании чат-бота с ИИ можно реализовать фильтр входящих сообщений, который блокирует запросы с попытками получить личные данные, а также фильтр выходных сообщений, который удаляет или заменяет потенциально опасные инструкции. System prompt может содержать инструкции не раскрывать внутренние механизмы или не выполнять команды, связанные с вредоносными действиями.