В ReAct-агенте prompt injection возможен через пользовательский ввод и результаты инструментов. Основная защита — границы доверия, ограниченные права и проверка действий кодом, а не только предупреждение в prompt.
Рассматривали ли риск prompt injection в ReAct-агенте и как боролись с этим?
В ReAct-агенте prompt injection возможен через пользовательский ввод и результаты инструментов. Основная защита — границы доверия, ограниченные права и проверка действий кодом, а не только предупреждение в prompt.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В ReAct-агенте prompt injection возможен через пользовательский ввод и результаты инструментов. Основная защита — границы доверия, ограниченные права и проверка действий кодом, а не только предупреждение в prompt.
Внешний текст считайте данными, не разрешающими менять системные правила. Используйте allowlist инструментов, валидируйте аргументы, проверяйте доступ и подтверждайте опасные действия. Тестируйте попытки утечки, изменения маршрута и скрытые инструкции в документах. Логи действий помогают расследованию, но фильтруйте чувствительный контент.