Maaaring magbasa ng file o webpage ang matalinong katulong para sa gawain. Isipin kung sinusubok ng teksto na ilihis ang asal sa halip na magpabatid. Hindi dapat magkaroon ng kapangyarihang mag-utos ang nilalaman dahil lamang nasa dokumento ito.
Anong problema ang dulot ng prompt injection?
Inilalarawan ng OWASP ang prompt injection bilang pagtatangkang baguhin ang kilos ng modelo sa pamamagitan ng input at panlabas na nilalaman. Maaari itong humantong sa maling output o hindi awtorisadong paggamit ng konektadong kakayahan. 1
Halimbawa, hinihingi ng dokumentong ibubuod na magpadala ang agent ng walang kaugnayang impormasyon. Pagbubuod pa rin ang orihinal na gawain; hindi bagong wastong utos ng may-ari ang nilalaman ng dokumento.
Hindi sapat ang pagkilala sa teksto
Iminumungkahi rin ang teknikal na hangganan: tukuyin ang kasangkapan, aksiyon ng bawat isa at paraan ng pagpapatunay sa kahilingan. Hindi kapalit ng access control sa pagpapatupad ang isang pangungusap na nagbabawal.
Kung pagbabasa ng ulat ang tungkulin, hindi dapat walang dahilan na payagan din ang pagbura nito. Mungkahing prinsipyo ito upang paliitin ang epekto ng pagkakamali, hindi pahayag na nawala ang lahat ng panganib.
Ang papel ng Shield sa ekosistemang Sara
Sa paghahati ng Sara, sinusuri ng Shield ang hangganan ng seguridad. Magkakaiba ang datos at kapangyarihan ng business agent, execution layer at trading system. Dapat panatilihin ng proteksiyon ang kaibahan at hindi tipunin ang walang limitasyong access sa iisa.
Maaaring subukan kung nababago ng hindi mapagkakatiwalaang nilalaman ang saklaw o naaabot ang hindi pinapayagang datos. Dapat nakaugnay ang resulta sa partikular na bersiyon at configuration.
Layunin nito ang pagbawas sa posibilidad at epekto ng hindi awtorisadong asal. Hindi ipinapakilala ang Sara Shield bilang imposibleng manipulahin. Malinaw na hangganan, nauulit na pagsubok at ulat ng limitasyon ang pamantayan.
