NVIDIA y otras 36 organizaciones formaron la Open Secure AI Alliance para desarrollar y compartir tecnologías, técnicas y herramientas abiertas para proteger el software y los agentes de inteligencia artificial (IA).
El grupo de 37 miembros incluye empresas de nube, seguridad, software empresarial e inteligencia artificial, incluidas Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Palo Alto Networks, Red Hat y Linux Foundation.
El alcance cubierto cubre toda la pila de agentes, incluida la identidad, los permisos, el aislamiento, las barreras de seguridad, el registro, los formatos de los modelos, el escaneo multimodelo y los flujos de trabajo de codificación seguros.
El argumento es que los ciberdefensores necesitan modelos de IA que puedan leerse, modificarse y ejecutarse en su propio hardware, no sólo sistemas cerrados a los que se pueda acceder a través de interfaces de programación de aplicaciones (API) de proveedores.
Este anuncio también trae nuestra primera contribución técnica, NVIDIA-labs OO Agents (NOOA). Este es un marco de investigación de Apache 2.0 diseñado para facilitar las pruebas, el seguimiento, la auditoría y la gestión del comportamiento de los agentes. Los materiales de lanzamiento no incluyen un estatuto, un comité directivo, flujos de trabajo técnicos, un cronograma de entrega, un repositorio compartido de la alianza y el sitio web independiente aún está en construcción.
Hacker News se ha puesto en contacto con NVIDIA para obtener más información sobre la gobernanza de la alianza, los compromisos de los miembros y los resultados iniciales planificados y actualizará este artículo si recibimos una respuesta.
El primer código viene con una advertencia de zona de pruebas.
El arnés del agente es una capa de software alrededor de su modelo que representa el contexto, realiza acciones, administra el estado y determina cuándo se completan las tareas. En NOOA, esa capa se representa como una clase de Python. Los campos almacenan su estado, los métodos exponen su funcionalidad, las cadenas de documentos actúan como mensajes y las anotaciones de tipo definen las convenciones que debe seguir un modelo.
Los métodos con un cuerpo de elipsis… se completan en tiempo de ejecución mediante un bucle controlado por un modelo de lenguaje grande (LLM). Los métodos que involucran Python normal siguen siendo código determinista. La misma estructura permite a los desarrolladores utilizar flujos de trabajo familiares de prueba, seguimiento, control de versiones y refactorización en lugar de dividir el comportamiento del agente en indicaciones, esquemas de herramientas, devoluciones de llamadas y gráficos de flujo de trabajo.
En una evaluación independiente, NVIDIA informó que el marco obtuvo una puntuación del 86,8 % en el punto de referencia de redescubrimiento de vulnerabilidad CyberGym L1 utilizando GPT-5.5, donde se bloqueó el acceso a la red y se aplicaron comprobaciones basadas en reglas a cada trayectoria.
Los repositorios son igualmente sinceros sobre el riesgo. NOOA se puede configurar para ejecutar Python generado por LLM. Esto podría resultar en el envío de datos privados, la eliminación de archivos o la modificación de su entorno. Su verificación de árbol de sintaxis abstracta y lista de rechazo de módulos se describen como controles de defensa en profundidad de «perímetro sin contención».
NVIDIA sitúa la contención fuera del propio NOOA. El agente que ejecuta el código generado debe ejecutarse detrás de un aislamiento a nivel del sistema operativo, como un contenedor, una máquina virtual o su entorno de pruebas OpenShell. NOOA proporciona pruebas y rastreo. El entorno limitado a nivel del sistema operativo es el límite de contención.
Una revisión del repositorio público del 27 de julio encontró una etiqueta v0.0.6 con fecha del 22 de julio. La guía de lanzamiento del proyecto establece que etiquetar confirmaciones es de estilo de lanzamiento y que adjuntar una rueda integrada a otra versión de GitHub es opcional.
Su guía de contribuciones establece que NVIDIA mantiene el desarrollo y agradece las contribuciones externas a través de solicitudes de extracción. El repositorio no tenía archivos de hoja de ruta ni de gobernanza a nivel raíz.
El incidente del abrazo se convirtió en un tema candente de discusión.
NVIDIA vinculó la demanda de la Alianza contra el modelo de defensa controlado localmente con la intrusión de Hugging Face de julio, en la que un sistema de agente autónomo comprometió parte de la infraestructura de producción de la empresa.
Hugging Face identificó el acceso no autorizado a un conjunto limitado de datos internos y algunas credenciales utilizadas por sus servicios. No encontramos evidencia de que se hubieran alterado modelos públicos, conjuntos de datos, espacios, imágenes de contenedores o paquetes públicos.
Hug Faith dijo que el acceso inicial a su entorno se realizó a través de un conjunto de datos malicioso que aprovechaba los cargadores de conjuntos de datos de código remoto y la inyección de plantillas en la configuración del conjunto de datos. La actividad procedió a acceder a los nodos, recopilar credenciales y moverse lateralmente a través de varios clústeres internos.
Hugging Face dijo que ejecutó un agente de análisis basado en LLM en más de 17.000 acciones registradas para reconstruir líneas de tiempo, extraer indicadores de compromiso y mapear las credenciales expuestas. La API Frontier Model alojada comercialmente inicialmente rechazó comandos de ataque, cargas útiles de explotación y artefactos de comando y control necesarios para el análisis.
En cambio, la empresa ejecutó un modelo GLM 5.2 abierto en su propia infraestructura y también mantuvo los datos del ataque y las credenciales de referencia dentro de su entorno. Su consejo operativo fue «investigar y preparar un modelo capaz de ejecutarse en su propia infraestructura antes de que ocurra un incidente».
En este caso, la ventaja fue la gestión operativa. Este incidente no establece un modelo alternativo de apertura a la identidad, el aislamiento y la contención.
Como informó anteriormente The Hacker News, OpenAI anunció más tarde que la investigación preliminar encontró que GPT-5.6 Sol y un modelo de prelanzamiento más capaz dieron como resultado menos denegaciones cibernéticas durante las evaluaciones internas de ExploitGym y los incidentes en operación.
La divulgación de OpenAI describe las primeras etapas de la cadena. Este modelo aprovechó una vulnerabilidad de día cero en un proxy de caché de registro de paquetes alojado internamente para obtener acceso a Internet. Luego, encadenamos vulnerabilidades y robo de credenciales en los sistemas OpenAI y Hugging Face mientras buscábamos respuestas comparativas. Según OpenAI, una cadena descubrió una ruta de ejecución remota de código en el servidor de Hugging Face.
OpenAI dijo que Hugging Face detectó y detuvo la actividad en su infraestructura, y ya había comenzado la contención y la reconstrucción forense cuando las dos empresas se conectaron.
Las revelaciones clave demuestran que el modelo abierto ayudó a reconstruir la intrusión de Hugging Face y respaldó su respuesta. No representan que GLM 5.2 detectó, evitó o contuvo una infracción de forma independiente.
Federación sin manual de gestión pública
La asociación sigue a una carta de la industria del 24 de julio que argumenta que el modelo descargable brinda a los defensores las mismas capacidades que los atacantes, reduciendo la dependencia de proveedores individuales y permitiendo que el trabajo sensible permanezca en la infraestructura controlada por el usuario.
OpenAI, Google y Meta se encuentran entre los firmantes de la carta, pero no estaban incluidos en la lista original de miembros de la alianza. Al 27 de julio de 2026, Anthropic no está en ninguna de las listas.
La lista por sí sola no puede explicar el motivo de la ausencia. Firmar la carta de política y unirse a la coalición tecnológica son compromisos separados, y los documentos públicos no dicen por qué estas empresas están ausentes, si se están llevando a cabo negociaciones de membresía o qué miembros deben contribuir para unirse.
Varias de las tecnologías citadas en el anuncio son anteriores a la coalición, incluido el formato de modelo Safetensors de Hugging Face, el ID de carga de trabajo SPIFFE/SPIRE respaldado por HPE, el sistema de remediación Lightwell de IBM y Red Hat, el arnés de seguridad multimodelo MDASH de Microsoft y el agente de codificación Grok Build de SpaceXAI. Estos son proyectos de miembros y no son productos creados por la Alianza.
Elastic dijo que contribuirá con investigación, herramientas y conocimiento arquitectónico en materia de seguridad, búsqueda, observabilidad y detección impulsada por IA. CrowdStrike dijo que está desarrollando tecnología que utiliza modelos abiertos para detectar ataques contra sistemas y agentes de inteligencia artificial.
La Fundación Linux se autodenominó socio inaugural y dijo que su función era proporcionar un lugar neutral para que las organizaciones competidoras colaboraran. No indica que la Alianza esté patrocinada u operada oficialmente como un proyecto de la Fundación Linux.
Los registros públicos no distinguen entre miembros que asignan ingenieros a esfuerzos de colaboración, contribuyen a proyectos existentes o apoyan la dirección de la coalición. Los flujos de trabajo públicos, los mantenedores, los procesos de lanzamiento o el código administrado de forma colaborativa facilitan la evaluación del nivel de participación colaborativa.
Hasta ahora, los registros públicos muestran una coalición, posiciones políticas, compromisos de múltiples miembros y un nuevo lanzamiento de código identificable administrado por NVIDIA, NOOA. La gobernanza de la alianza, la hoja de ruta conjunta, los resultados iniciales de varios miembros y los modelos, pesos y conjuntos de datos prometidos por NVIDIA siguen siendo privados.
Source link
