Интеллектуальный помощник может читать файл или страницу для своей работы. Представьте, что текст старается перенаправить его поведение вместо предоставления информации. Содержимое не должно получать полномочия команды лишь из-за присутствия в документе.
Какую проблему создаёт инъекция инструкций?
OWASP описывает prompt injection как попытки менять поведение модели через ввод и внешний контент. Риск может привести к неподходящим ответам или неразрешённому использованию подключённых возможностей. 1
Например, документ для краткого изложения требует отправить посторонние сведения. Исходная задача остаётся изложением; текст документа не должен становиться новым действительным распоряжением владельца системы.
Одного распознавания текста недостаточно
Мы предлагаем защищать и технические границы: определить инструменты агента, действия каждого и проверку запросов. Запретительное предложение не заменяет контроль доступа на уровне исполнения.
Если инструмент читает отчёт, ему не следует без необходимости разрешать и удаление этого отчёта. Это предлагаемый принцип снижения последствий ошибок, а не утверждение об устранении всех рисков.
Роль Shield в экосистеме Sara
В распределении ролей Sara Shield изучает границы безопасности. У бизнес-агента, слоя исполнения и торговой системы разные данные и полномочия. Защита должна сохранять эти различия, а не собирать неограниченный доступ в одном месте.
Соответствующая оценка может проверить, меняет ли недоверенное содержимое рамки задачи или достигает ли неразрешённых данных. Результаты должны относиться к определённой версии и конфигурации.
Подход направлен на снижение вероятности и последствий неразрешённого поведения. Sara Shield не представляется полностью устойчивым к манипуляциям: критерии — ясные границы, повторяемые проверки и указанные ограничения.
