AIエージェントの安全性：文章が命令しようとするとき

知的な助手は作業のためにファイルやウェブページを読むことがあります。その文章が情報提供ではなく行動を誘導しようとする場合を考えてください。文書に書かれているだけで命令権限を得てはいけません。

プロンプトインジェクションの問題

OWASPは、入力や外部コンテンツを通じてモデルの動作を変えようとする試みとして説明しています。不適切な出力や、接続した機能の無許可利用につながるリスクがあります。 1

例として、要約対象の文書が無関係な情報の送信を要求した場合でも、元の作業は要約です。文書の内容を、システム所有者からの有効な新しい依頼にしてはいけません。

文章の認識だけでは足りない

技術上の境界も保護すべきです。道具、各道具の操作、依頼の検証方法を明確にします。「してはいけない」という一文は、実行層のアクセス制御に代わりません。

報告を読む道具に、不要な削除権限まで与えるべきではありません。これは誤りの影響を抑える提案原則であり、リスクをすべてなくしたという主張ではありません。

Saraの仕組みにおけるShieldの役割

SaraファミリーではShieldが安全上の境界を検討します。業務エージェント、実行層、取引システムは異なる情報と権限を持ちます。無制限の権限を一か所に集めず、その違いを維持します。

不信な内容が作業範囲を変えるか、許可されない情報へ到達するかを評価できます。結果は特定の版と設定に関連付ける必要があります。

この方法は無許可の動作の確率と影響を下げることを目指します。Sara Shieldを操作不能とは紹介しません。明確な境界、繰り返せる試験、制限の報告が基準です。