Akıllı yardımcı iş için dosya veya sayfa okuyabilir. Aynı metnin bilgi sağlamak yerine davranışını değiştirdiğini düşünün. Okunan içerik yalnızca belgede bulunduğu için emir yetkisi kazanmamalıdır.
İstem enjeksiyonu hangi sorunu yaratır?
OWASP, Prompt Injection'ı girdiler ve dış içerikle model davranışını değiştirme girişimleri olarak açıklar. Uygunsuz çıktı veya bağlı yeteneklerin yetkisiz kullanımı oluşabilir. 1
Örnekte özetlenecek belge ajandan ilgisiz bilgi göndermesini ister. Asıl görev özetlemedir; belge metni sistem sahibinden yeni, geçerli talebe dönüşmemelidir.
Metni tanımak yeterli değildir
Teknik sınırları da korumayı öneriyoruz: Ajanın araçları, her aracın eylemleri ve taleplerin doğrulanması açık olmalıdır. Yasaklayıcı bir cümle yürütme katmanındaki erişim denetimini değiştiremez.
Rapor okuyan araç gereksiz yere raporu silme yeteneği de taşımamalıdır. Bu hata etkisini azaltmak için önerilen ilkedir; bütün riskin yok olduğu iddiası değildir.
Sara ekosisteminde Shield'ın rolü
Shield güvenlik sınırlarını inceler. İş ajanı, yürütme katmanı ve ticaret sisteminin verileri ve yetkileri farklıdır. Koruma bu ayrımı sürdürmeli, sınırsız erişimi tek yerde toplamamalıdır.
Uygun değerlendirme, güvenilmeyen içeriğin kapsamı değiştirip yetkisiz veriye ulaşıp ulaşamadığını sınayabilir. Sonuçlar belirli sürüm ve yapılandırmaya ait olmalıdır.
Amaç yetkisiz davranışın olasılığını ve etkisini azaltmaktır. Sara Shield tamamen kandırılamaz diye sunulmaz; ölçütler açık sınırlar, tekrarlanabilir testler ve sınırlamaların raporlanmasıdır.
