یک دستیار هوشمند ممکن است برای انجام کار، متن یک فایل یا صفحه وب را بخواند. حال تصور کنید همان متن تلاش کند به‌جای ارائه اطلاعات، رفتار دستیار را تغییر دهد. مسئله اینجاست که محتوای خوانده‌شده نباید فقط به دلیل حضور در متن، اختیار صدور فرمان پیدا کند.
تزریق دستور چه مسئله‌ای ایجاد می‌کند؟
OWASP در توضیح Prompt Injection، به تلاش برای تغییر رفتار مدل از طریق ورودی و همچنین محتوای منابع بیرونی اشاره می‌کند. این خطر می‌تواند به خروجی نامناسب یا استفاده نامجاز از قابلیت‌های متصل منجر شود. ۱
در یک مثال توضیحی، سندی که برای خلاصه‌سازی دریافت شده، از عامل می‌خواهد اطلاعات نامرتبطی را ارسال کند. وظیفه اصلی همچنان خلاصه‌سازی است؛ متن داخل سند نباید به درخواست تازه و معتبر از طرف مالک سامانه تبدیل شود.
تشخیص متن کافی نیست
برای حفاظت از یک عامل، پیشنهاد ما تمرکز بر مرزهای فنی نیز هست. باید روشن باشد عامل چه ابزاری دارد، هر ابزار چه عملی انجام می‌دهد و درخواست آن چگونه اعتبارسنجی می‌شود. صرف نوشتن یک جمله بازدارنده، جای کنترل دسترسی در لایه اجرا را نمی‌گیرد.
برای مثال، اگر وظیفه یک ابزار خواندن یک گزارش است، طراحی آن نباید بدون ضرورت امکان حذف همان گزارش را نیز فراهم کند. این یک اصل پیشنهادی برای کاهش دامنه اثر خطاست، نه ادعای حذف کامل خطر.
نقش شیلد در اکوسیستم سارا
در نقشه نقش‌های خانواده سارا، شیلد جایگاه بررسی مرزهای امنیتی را دارد. عامل کسب‌وکار، لایه اجرا و سامانه معامله‌گری، هرکدام داده‌ها و اختیارهای متفاوتی دارند. حفاظت باید این تفاوت را حفظ کند، نه اینکه همه دسترسی‌ها در یک نقطه نامحدود جمع شوند.
یک برنامه ارزیابی مناسب می‌تواند بررسی کند که محتوای نامطمئن آیا می‌تواند دامنه کار را تغییر دهد یا به داده خارج از مجوز برسد. نتایج چنین آزمون‌هایی باید به نسخه و پیکربندی مشخص مربوط باشند.
هدف این رویکرد، کاهش احتمال و اثر رفتار نامجاز است. سارا شیلد را با ادعای «مصونیت کامل در برابر فریب» معرفی نمی‌کنیم؛ معیار ما مرزهای روشن، آزمون قابل‌تکرار و گزارش محدودیت‌هاست.
