智能助手可能为完成工作而阅读文件或网页。设想其中的文本试图改变其行为,而非提供信息。内容不能仅因出现在文档中便获得命令权限。
提示词注入带来什么问题?
OWASP 将提示词注入描述为通过输入与外部内容改变模型行为的尝试。风险可能导致不当输出,或未授权使用已连接的能力。 1
例如,待摘要文档要求智能体发送无关信息。原任务仍是摘要;文档内容不能成为系统所有者有效的新请求。
仅仅识别文本还不够
还应保护技术边界:明确智能体工具、各工具操作及请求验证方式。一句“不要这样做”不能替代执行层访问控制。
如果工具负责读取报告,设计上就不应无必要地同时允许删除报告。这是降低错误影响的建议原则,并非已消除所有风险的声明。
Shield 在 Sara 生态中的角色
在 Sara 家族分工中,Shield 审查安全边界。业务智能体、执行层与交易系统拥有不同数据和权限;防护应保持差别,而非将无限访问集中到一处。
适当评估可以测试不可信内容是否改变任务范围,或触及未授权数据。结果必须对应特定版本和配置。
这一方法旨在降低未授权行为的概率与影响。Sara Shield 不宣称完全免受操控;评价标准是明确边界、可重复测试和对限制的报告。












