Главный риск — prompt injection: текст письма может попытаться заставить агента прочитать секреты или отправить их наружу. В первую очередь ограничьте произвольный сетевой выход и права записи.
Агент читает письма и тикеты от посторонних людей, умеет ходить в базу и отправлять запросы наружу. Что тут может пойти не так и что бы вы отключили первым?
Главный риск — prompt injection: текст письма может попытаться заставить агента прочитать секреты или отправить их наружу. В первую очередь ограничьте произвольный сетевой выход и права записи.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Главный риск — prompt injection: текст письма может попытаться заставить агента прочитать секреты или отправить их наружу. В первую очередь ограничьте произвольный сетевой выход и права записи.
Не давайте агенту неограниченный SQL и универсальный HTTP-клиент. Предоставьте узкие инструменты с проверкой пользователя, объекта и разрешённых адресов; чувствительные действия требуют отдельного подтверждения.
Письмо и тикет — данные, не инструкции для смены политики. Изолируйте секреты от контекста, используйте минимальные права БД, контроль выгружаемых полей и аудит действий без сырого содержимого. Простая фраза в промпте «игнорируй вредные инструкции» недостаточна: ограничения должны проверяться вне модели.