A medida que los agentes de IA se vuelven cada vez más capaces, las empresas enfrentan nuevos desafíos mientras compiten por potenciarlos en sus aplicaciones, flujos de trabajo y productos. Se trata de garantizar que los agentes hagan lo que se supone que deben hacer cuando están desplegados en diferentes entornos.
Microsoft está intentando resolver este problema con un nuevo estándar de código abierto llamado Especificación de control de agentes (ACS) que tiene como objetivo brindar a los desarrolladores un control más consistente y granular sobre lo que sus agentes de IA pueden hacer.
Básicamente, esta especificación permite a los desarrolladores, a los equipos de cumplimiento y de seguridad definir sus propias políticas para que las sigan los agentes. Las reglas pueden definir lo que los agentes pueden y no pueden hacer, cuándo los humanos deben aprobar acciones y qué evidencia debe registrarse para su posterior revisión. Estos archivos de políticas se verifican en varios «puntos de intercepción» cuando el agente deja de realizar tareas para garantizar que el agente permanezca dentro de las barreras de seguridad.
La especificación surge a medida que los desarrolladores idean formas de improvisar el control sobre lo que ve y hace la IA, con un enfoque particular en los flujos de trabajo de la IA que salen mal por el mal uso de las herramientas o acciones no deseadas que causan fallas en cascada.
Hoy en día, los desarrolladores pueden especificar instrucciones en las indicaciones del sistema, agregar comprobaciones personalizadas al código de la aplicación y utilizar clasificadores para detectar entradas y salidas problemáticas. Si bien estos enfoques funcionan, a menudo dejan a las empresas con controles fragmentados que son difíciles de auditar y de reutilizar en diferentes marcos, interfaces y sistemas.
ACS tiene como objetivo consolidar estos controles en una capa de gobernanza común. Según Microsoft, esta especificación se puede utilizar para comprobar si un agente se adhiere a las barreras de seguridad en múltiples puntos de un flujo de trabajo, incluso antes de que el agente reciba información, antes de invocar una herramienta, después de que la herramienta devuelva un resultado y antes de que se envíe la respuesta final al usuario. Las políticas también pueden permitir o bloquear acciones, redactar información confidencial o requerir la aprobación del usuario.
Los desarrolladores también pueden insertar clasificadores en las entradas y salidas para clasificar información, predecir resultados y decidir cómo debe responder el agente. Agregue un LLM con un mensaje para actuar como «árbitro» de políticas. También incluye lógica para verificar llamadas a herramientas, selección de herramientas, precisión de entrada, uso de salida y respuestas.
Además, como estas políticas se pueden escribir como un único archivo, se pueden agrupar con agentes, lo que permite que las políticas de seguridad sigan a los agentes en diferentes marcos y entornos.
ACS se envía como un SDK que incluye complementos como LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI y herramientas MCP.
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
