Используйте несколько уровней защиты: правила поведения, модерацию входа и выхода, безопасный отказ и ограничения инструментов. Один запрет в prompt не гарантирует устойчивость к провокациям.
Как бы ты сделал защиту от оскорблений/провокационных вопросов, чтобы бот не начал ругаться в ответ?
Используйте несколько уровней защиты: правила поведения, модерацию входа и выхода, безопасный отказ и ограничения инструментов. Один запрет в prompt не гарантирует устойчивость к провокациям.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Используйте несколько уровней защиты: правила поведения, модерацию входа и выхода, безопасный отказ и ограничения инструментов. Один запрет в prompt не гарантирует устойчивость к провокациям.
Отделяйте агрессивную лексику пользователя от допустимого ответа бота: он может нейтрально вернуть разговор к задаче. Проверяйте обходы, цитаты и ложные срабатывания на тестовом наборе, предусмотрите передачу человеку. Не копируйте оскорбление в отказ без необходимости. Отдельно защищайте выполнение действий и данные: корректный тон не равен безопасности системы.