Microsoft anunció dos nuevas herramientas de código abierto, RAMPART y Clarity, para ayudar a los desarrolladores a probar mejor la seguridad de sus agentes de inteligencia artificial (IA).
RAMPART, que significa Plataforma de medición y evaluación de riesgos para Agentic Red Teaming, sirve como un marco de pruebas de seguridad nativo de Pytest para crear y ejecutar pruebas de seguridad para agentes de IA, que cubren problemas adversarios y benignos, y varias categorías de daños.
Los usuarios pueden crear casos de prueba para atacar o investigar agentes de IA para investigar posibles violaciones de seguridad, como la inyección cruzada, donde datos no confiables llegan al sistema de IA indirectamente a través de fuentes de datos procesadas por el sistema de IA (por ejemplo, correos electrónicos, archivos, páginas web, etc.), regresiones de comportamiento no deseadas y fugas de datos.
RAMPART luego evalúa los resultados de esas pruebas e informa los resultados. Todo lo que necesita es un adaptador para conectar su agente a su conjunto de pruebas. La herramienta se basa en PyRIT (abreviatura de Python Risk Identification Tool), que Microsoft lanzó hace más de dos años como una forma de probar sistemas de inteligencia artificial.
La claridad, por otro lado, es descrita por el gigante tecnológico como una «caja de resonancia estructurada» que ayuda a los desarrolladores a llegar al enfoque correcto antes de escribir una sola línea de código. Es un “socio de pensamiento de IA que los guía a través de la articulación de problemas, la exploración de soluciones, el análisis de fallas y el seguimiento de decisiones.
Al lanzar estas herramientas, Microsoft dijo que pretende abordar por qué ciertas decisiones se construyen en las primeras etapas del desarrollo de software, de modo que los problemas potenciales (por ejemplo, los agentes que acceden a las herramientas) puedan abordarse mucho antes de que se construya el sistema.
«Queríamos darle a la gente una manera de poner a prueba sus suposiciones al comienzo de un proyecto, donde cambiar el rumbo es barato y tener las conversaciones correctas puede ahorrar meses de retrabajo», dijo Ram Shankar Siva Kumar, experto en datos y fundador del AI Red Team de Microsoft, en un blog compartido con The Hacker News.
Microsoft dijo que una motivación secundaria para invertir en estas herramientas es ampliar los aprendizajes de los ejercicios de equipos rojos al hacer que los incidentes sean reproducibles y las mitigaciones verificables, convirtiéndolos en activos de ingeniería procesables.
«PyRIT está optimizado para el descubrimiento de cajas negras por parte de investigadores de seguridad después de que se construye el sistema, mientras que RAMPART está diseñado para ingenieros durante la construcción del sistema», agregó Siva Kumar. «La claridad ayuda a los equipos a aclarar la intención del diseño y comprender las suposiciones. Juntos, estos enfoques hacen que la seguridad de la IA pase de una revisión única a un conjunto de artefactos vivos que los desarrolladores pueden utilizar durante todo el ciclo de vida».
Source link
