Un assistente intelligente può leggere un file o una pagina web per svolgere il proprio lavoro. Immagini che il testo tenti di reindirizzarne il comportamento anziché fornire informazioni. Il contenuto letto non deve acquisire autorità di comando solo perché compare in un documento.
Quale problema crea la prompt injection?
OWASP descrive la prompt injection come tentativi di cambiare il comportamento del modello tramite input e contenuti esterni. Il rischio può portare a risultati inappropriati o all’uso non autorizzato di capacità collegate. 1
In un esempio illustrativo, un documento fornito per essere riassunto chiede all’agente di inviare informazioni estranee al compito. La richiesta originale resta il riassunto; il contenuto del documento non deve diventare una nuova richiesta valida del proprietario del sistema.
Riconoscere il testo non basta
Proponiamo di proteggere anche i confini tecnici: identificare gli strumenti dell’agente, le azioni di ogni strumento e il modo in cui vengono validate le richieste. Una frase che proibisce un’azione all’agente non può sostituire il controllo degli accessi nel livello di esecuzione.
Se il compito di uno strumento è leggere un rapporto, il progetto non dovrebbe consentire inutilmente anche di cancellarlo. Questo è un principio proposto per ridurre l’impatto degli errori, non una dichiarazione di eliminazione di ogni rischio.
Il ruolo di Shield nell’ecosistema Sara
Nei ruoli della famiglia Sara, Shield esamina i confini di sicurezza. L’agente aziendale, il livello di esecuzione e il sistema di trading hanno dati e autorità differenti. La protezione dovrebbe mantenere queste differenze invece di concentrare accessi illimitati in un solo punto.
Una valutazione adeguata può verificare se contenuti non attendibili cambiano l’ambito del compito o raggiungono dati non autorizzati. I risultati devono riferirsi a una versione e una configurazione specifiche.
Questo approccio mira a ridurre probabilità e impatto dei comportamenti non autorizzati. Sara Shield non viene presentato come completamente immune alle manipolazioni: i criteri sono confini chiari, test ripetibili e limiti dichiarati.
