Ein intelligenter Assistent kann für seine Arbeit eine Datei oder Webseite lesen. Stellen Sie sich vor, dieser Text versucht sein Verhalten umzulenken, statt Informationen bereitzustellen. Gelesener Inhalt darf nicht allein dadurch Befehlsgewalt erhalten, dass er in einem Dokument steht.
Welches Problem erzeugt Prompt Injection?
OWASP beschreibt Prompt Injection als Versuche, das Modellverhalten durch Eingaben und externe Inhalte zu verändern. Daraus können unangemessene Ausgaben oder eine unerlaubte Nutzung angebundener Fähigkeiten entstehen. 1
In einem veranschaulichenden Beispiel fordert ein zur Zusammenfassung übergebenes Dokument den Agenten auf, sachfremde Informationen zu versenden. Die ursprüngliche Aufgabe bleibt die Zusammenfassung; Dokumentinhalt darf keine gültige neue Anweisung des Systembesitzers werden.
Das Erkennen von Text reicht nicht aus
Wir empfehlen, auch technische Grenzen abzusichern: die Werkzeuge des Agenten, die Aktionen jedes Werkzeugs und die Prüfung von Anfragen bestimmen. Ein Satz, der einem Agenten etwas verbietet, ersetzt keine Zugriffskontrolle auf der Ausführungsebene.
Soll ein Werkzeug einen Bericht lesen, darf sein Entwurf nicht unnötig auch die Löschung dieses Berichts erlauben. Dies ist ein vorgeschlagener Grundsatz zur Begrenzung von Fehlerfolgen, keine Behauptung, jedes Risiko sei beseitigt.
Die Rolle von Shield im Sara-Ökosystem
Innerhalb der Sara-Produktfamilie untersucht Shield Sicherheitsgrenzen. Geschäftsagent, Ausführungsebene und Handelssystem haben unterschiedliche Daten und Befugnisse. Schutz sollte diese Unterschiede erhalten, statt unbegrenzten Zugriff an einer Stelle zu bündeln.
Eine geeignete Bewertung kann prüfen, ob nicht vertrauenswürdiger Inhalt den Aufgabenumfang verändert oder unerlaubte Daten erreicht. Ergebnisse müssen sich auf eine konkrete Version und Konfiguration beziehen.
Dieser Ansatz soll Wahrscheinlichkeit und Auswirkungen unerlaubten Verhaltens reduzieren. Sara Shield wird nicht als vollständig gegen Manipulation immun vorgestellt: Maßstäbe sind klare Grenzen, wiederholbare Tests und offengelegte Einschränkungen.
