Агент читает письма и тикеты от посторонних людей, умеет ходить в базу и отправлять запросы наружу. Что тут может пойти не так и что бы вы отключили первым?

Главный риск — prompt injection: текст письма может попытаться заставить агента прочитать секреты или отправить их наружу. В первую очередь ограничьте произвольный сетевой выход и права записи.

Короткий ответ

Что ответить на собеседовании

Главный риск — prompt injection: текст письма может попытаться заставить агента прочитать секреты или отправить их наружу. В первую очередь ограничьте произвольный сетевой выход и права записи.

Подробный разбор

Ответ с пояснениями

Главный риск — prompt injection: текст письма может попытаться заставить агента прочитать секреты или отправить их наружу. В первую очередь ограничьте произвольный сетевой выход и права записи.

Не давайте агенту неограниченный SQL и универсальный HTTP-клиент. Предоставьте узкие инструменты с проверкой пользователя, объекта и разрешённых адресов; чувствительные действия требуют отдельного подтверждения.

Письмо и тикет — данные, не инструкции для смены политики. Изолируйте секреты от контекста, используйте минимальные права БД, контроль выгружаемых полей и аудит действий без сырого содержимого. Простая фраза в промпте «игнорируй вредные инструкции» недостаточна: ограничения должны проверяться вне модели.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее