Un assistant intelligent peut lire un fichier ou une page web pour travailler. Imaginez que ce texte tente de réorienter son comportement plutôt que de fournir des informations. Le contenu lu ne doit pas acquérir une autorité de commande simplement parce qu’il figure dans un document.
Quel problème pose l’injection de prompt ?
OWASP décrit l’injection de prompt comme des tentatives de modifier le comportement d’un modèle par des entrées et du contenu externe. Le risque peut conduire à des réponses inappropriées ou à une utilisation non autorisée des capacités connectées. 1
Dans un exemple illustratif, un document fourni pour être résumé demande à l’agent d’envoyer des informations sans rapport. La tâche initiale reste le résumé ; le contenu du document ne doit pas devenir une nouvelle demande valide du propriétaire du système.
Reconnaître le texte ne suffit pas
Nous proposons aussi de protéger les frontières techniques : identifier les outils de l’agent, les actions de chacun et la validation des demandes. Une phrase interdisant une action à l’agent ne remplace pas le contrôle d’accès dans la couche d’exécution.
Si un outil doit lire un rapport, sa conception ne devrait pas permettre inutilement de le supprimer aussi. C’est un principe proposé pour réduire les conséquences des erreurs, pas une affirmation que tout risque disparaît.
Le rôle de Shield dans l’écosystème Sara
Dans les rôles de la famille Sara, Shield examine les frontières de sécurité. L’agent métier, la couche d’exécution et le système de trading disposent de données et d’autorisations différentes. La protection doit préserver ces différences au lieu de concentrer des accès illimités en un seul endroit.
Une évaluation adaptée peut tester si un contenu non fiable modifie le périmètre de la tâche ou atteint des données non autorisées. Les résultats doivent correspondre à une version et une configuration précises.
Cette approche vise à réduire la probabilité et les conséquences d’un comportement non autorisé. Sara Shield n’est pas présenté comme totalement insensible à la manipulation : les critères sont des limites claires, des tests reproductibles et des limitations signalées.
