Cuando un asistente se conecta a herramientas empresariales, cobra más importancia distinguir entre sugerir y actuar. Escribir un mensaje en una conversación es distinto de enviarlo a un cliente; leer el estado de un proyecto es distinto de modificarlo.
Para Sara Agent, cada conexión debe representar una capacidad concreta con una responsabilidad clara, no acceso general a toda una aplicación.
Empiece por la tarea necesaria
Proponemos definir primero la acción: leer un informe, redactar contenido o registrar una solicitud aprobada. Después, asociar esa acción a la herramienta y al permiso adecuados. Las conexiones amplias con autoridad excesiva no deben ser la opción predeterminada.
En su análisis de Excessive Agency, OWASP identifica las capacidades, los permisos y la autonomía innecesarios como riesgos para los sistemas basados en modelos de lenguaje. Por tanto, la calidad de una conexión no debe juzgarse solo por cuántas acciones permite. 1
La aprobación debe referirse a una acción concreta
En un escenario ilustrativo de mensajería, el usuario debe conocer el destinatario y el texto que se enviará. El permiso para redactar no debe implicar automáticamente permiso para enviar. Los cambios importantes posteriores a la aprobación pueden necesitar otra revisión.
Este es un patrón de diseño propuesto. La existencia de ese flujo en un servicio concreto depende de una conexión activa, una política de acceso y la implementación de ese despliegue.
Informe de los resultados de la herramienta en lugar de adivinarlos
Tras solicitar una acción, el informe del agente debe basarse en el resultado real de la herramienta. Preparado, enviado para ejecución y completado correctamente son estados distintos. Los resultados inciertos no deben comunicarse como un éxito seguro.
También proponemos considerar la prevención de duplicados en acciones repetibles. Una respuesta incompleta no debe llevar a ejecutar de nuevo la misma tarea sin comprobar lo ocurrido.
El desarrollo de Sara Agent sigue este criterio: los usuarios deben saber qué autoridad delegaron y qué ocurrió realmente. Más conexiones aportan valor cuando siguen claras la responsabilidad, los límites de acceso y los resultados.
