زبان منتخب کریں

ذہین ایجنٹ کی حفاظت: جب متن ہدایت دینے لگے

سارا شیلڈ کی ڈھال اور ڈیجیٹل تحفظ کی تصوراتی تصویر
سارا شیلد | امنیت و دفاع سایبری

ذہین ایجنٹ کی حفاظت: جب متن ہدایت دینے لگے

از الابداع السحري تكنولوجيا ش.ذ.م.م
١٧ ستمبر، ٢٠٢٦

ذہین معاون کام کے لیے فائل یا صفحہ پڑھ سکتا ہے۔ اگر یہی متن معلومات دینے کے بجائے اس کا عمل بدلنا چاہے تو؟ صرف دستاویز میں موجود ہونے سے پڑھے گئے مواد کو حکم دینے کا اختیار نہ ملے۔

پرومپٹ انجیکشن کیا مسئلہ پیدا کرتا ہے؟

OWASP پرومپٹ انجیکشن کو ان پٹ اور بیرونی مواد سے ماڈل کا رویہ بدلنے کی کوشش بتاتا ہے۔ اس سے غیر مناسب نتیجہ یا منسلک صلاحیت کا غیر مجاز استعمال ہو سکتا ہے۔ ١

وضاحتی مثال میں خلاصے کے لیے دی گئی دستاویز ایجنٹ سے غیر متعلق معلومات بھیجنے کو کہتی ہے۔ اصل کام خلاصہ ہی ہے؛ متن کو مالک کی نئی معتبر درخواست نہ بنایا جائے۔

صرف متن پہچاننا کافی نہیں

تکنیکی حدوں پر بھی توجہ ہو: ایجنٹ کے آلات، ان کے اقدامات اور درخواست کی تصدیق واضح ہو۔ ایک روکنے والا جملہ اجرا کی تہہ میں رسائی کے کنٹرول کی جگہ نہیں لیتا۔

رپورٹ پڑھنے والا آلہ بلا ضرورت اسی رپورٹ کو حذف بھی نہ کر سکے۔ یہ غلطی کے اثر کو محدود کرنے کا مجوزہ اصول ہے، خطرہ مکمل ختم کرنے کا دعویٰ نہیں۔

سارا ماحول میں شیلڈ کا کردار

سارا خاندان میں شیلڈ حفاظتی حدیں جانچتا ہے۔ کاروباری ایجنٹ، اجرائی تہہ اور تجارتی نظام کے ڈیٹا اور اختیارات الگ ہیں۔ تحفظ اس فرق کو برقرار رکھے، تمام لامحدود رسائی ایک جگہ نہ جمع کرے۔

جانچ یہ دیکھ سکتی ہے کہ نامعتبر مواد کام کا دائرہ بدلتا یا اجازت سے باہر ڈیٹا تک پہنچتا ہے؟ نتائج مخصوص نسخے اور ترتیب کے متعلق ہوں۔

مقصد غیر مجاز رویے کا امکان اور اثر کم کرنا ہے۔ شیلڈ کو دھوکے سے مکمل محفوظ نہیں کہتے؛ معیار واضح حدود، دہرائی جا سکنے والی آزمائش اور محدودیت کی رپورٹ ہیں۔

زمرہ:
  • مصنوعی ذہانت کی حفاظت
  • پرومپٹ انجیکشن
  • سارا شیلڈ