اختر اللغة

أمن الوكلاء الأذكياء: عندما يحاول النص إصدار تعليمات

تصور لدرع سارا شيلد والحماية الرقمية
سارا شیلد | امنیت و دفاع سایبری

أمن الوكلاء الأذكياء: عندما يحاول النص إصدار تعليمات

بواسطة الابداع السحري تكنولوجيا ش.ذ.م.م
١٧ سبتمبر ٢٠٢٦

قد يقرأ مساعد ذكي ملفا أو صفحة لإنجاز عمله. تخيل أن النص يحاول توجيه سلوكه بدلا من تقديم معلومات. لا ينبغي أن يكتسب المحتوى المقروء سلطة الأمر لمجرد وجوده في الوثيقة.

ما المشكلة التي يسببها حقن التعليمات؟

يصف OWASP حقن التعليمات بمحاولات تغيير سلوك النموذج عبر المدخلات والمحتوى الخارجي. قد يؤدي ذلك إلى مخرجات غير مناسبة أو استخدام غير مصرح للقدرات المتصلة. ١

في مثال توضيحي، تطلب وثيقة مقدمة للتلخيص من الوكيل إرسال معلومات لا علاقة لها بالمهمة. تظل المهمة الأصلية التلخيص؛ ولا يتحول محتوى الوثيقة إلى طلب جديد صالح من مالك النظام.

التعرف على النص لا يكفي

نقترح حماية الحدود التقنية أيضا: ما أدوات الوكيل؟ ما إجراءات كل أداة؟ وكيف تتحقق الطلبات؟ لا تحل عبارة ناهية محل ضبط الوصول في طبقة التنفيذ.

إذا كانت مهمة الأداة قراءة تقرير، فلا ينبغي أن يتيح تصميمها حذفه دون ضرورة. هذا مبدأ مقترح لتقليل أثر الخطأ، لا ادعاء بإزالة المخاطر بالكامل.

دور شيلد في منظومة سارا

يفحص شيلد الحدود الأمنية ضمن أدوار عائلة سارا. تختلف بيانات وصلاحيات وكيل الأعمال وطبقة التنفيذ ونظام التداول. تحافظ الحماية على هذا الفرق بدلا من جمع وصول غير محدود في نقطة واحدة.

يمكن أن يختبر تقييم مناسب قدرة المحتوى غير الموثوق على تغيير النطاق أو الوصول إلى بيانات خارج الإذن. يجب أن تنسب النتائج إلى إصدار وإعداد محددين.

يهدف النهج إلى تقليل احتمال السلوك غير المصرح وأثره. لا نقدم سارا شيلد كحصانة تامة من الخداع؛ معاييرنا حدود واضحة واختبارات متكررة وتقارير عن القيود.

نُشر في:
  • أمن الذكاء الاصطناعي
  • حقن التعليمات
  • سارا شيلد