지능형 도우미는 작업을 위해 파일이나 웹페이지를 읽을 수 있습니다. 그 안의 글이 정보 제공 대신 행동을 돌리려 한다면 어떨까요? 문서에 들어 있다는 이유만으로 내용이 명령 권한을 얻어서는 안 됩니다.
프롬프트 인젝션은 어떤 문제를 만들까요?
OWASP는 입력이나 외부 콘텐츠를 통해 모델 동작을 바꾸려는 시도로 설명합니다. 부적절한 출력이나 연결된 기능의 무단 사용으로 이어질 수 있습니다. 1
예를 들어 요약할 문서가 무관한 정보 전송을 요구해도 원래 작업은 요약입니다. 문서 내용이 시스템 소유자의 유효한 새 요청으로 바뀌어서는 안 됩니다.
문장을 알아보는 것만으로 부족합니다
기술적 경계도 보호해야 합니다. 에이전트의 도구, 각 도구의 동작, 요청 검증 방식을 정해야 합니다. 하지 말라는 한 문장이 실행 계층의 접근 통제를 대신하지 못합니다.
보고서를 읽는 도구에 불필요하게 삭제 권한까지 허용해서는 안 됩니다. 이는 오류 영향을 줄이려는 제안 원칙이며 모든 위험이 제거됐다는 주장이 아닙니다.
Sara 생태계에서 Shield의 역할
Sara 제품군에서 Shield는 보안 경계를 검토합니다. 업무 에이전트, 실행 계층, 거래 시스템은 서로 다른 데이터와 권한을 갖습니다. 보호는 무제한 접근을 한곳에 모으는 대신 이 구분을 유지해야 합니다.
불신 콘텐츠가 작업 범위를 바꾸거나 허가되지 않은 데이터에 도달하는지 시험할 수 있습니다. 결과는 특정 버전과 설정에 연결해야 합니다.
이 접근은 무단 행동의 가능성과 영향을 줄이려는 것입니다. Sara Shield를 조작에 완전히 면역인 제품으로 소개하지 않습니다. 명확한 경계, 반복 가능한 시험, 한계 보고가 기준입니다.
