OpenAI ha revelado detalles de GPT-Red, un modelo interno automatizado de equipo rojo que amplía el descubrimiento rápido de vulnerabilidades de inyección, con el objetivo de resolver problemas antes de que la herramienta se implemente ampliamente.
«GPT-Red es un poderoso equipo rojo y nuestros modelos anteriores son altamente vulnerables a sus ataques de inyección instantánea», dijo la compañía de inteligencia artificial (IA). «Utilizamos GPT-Red para entrenar GPT-5.6 de manera adversa para hacerlo más robusto y facilitar la inyección».
Este modelo funciona de manera similar al equipo rojo humano. Envía indicaciones, monitorea cómo responde el modelo GPT y lo hace repetidamente con intenciones maliciosas, como cargar datos confidenciales a un servidor externo.
Este desarrollo se produce cuando la inyección rápida adversaria sigue siendo una espina persistente en los modelos de lenguaje a gran escala, donde las instrucciones cuidadosamente elaboradas pueden ser engañadas para su ejecución, lo que puede producir resultados indeseables.
A medida que los sistemas de agentes continúan conectados a fuentes de datos de terceros a través de navegadores web, aplicaciones conectadas, archivos locales y otras herramientas, la superficie de ataque también se expande, proporcionando más vías para que actores maliciosos influyan en los resultados del modelo al incorporar mensajes maliciosos dentro de contenido aparentemente inofensivo proporcionado como entrada. Esto puede tomar la forma de un correo electrónico, una página web, una respuesta de herramienta o un repositorio de código.
GPT-Red tiene como objetivo impulsar equipos humanos rojos a escala, permitiéndoles identificar nuevos modos de falla, mejorar la solidez y construir contramedidas apropiadas antes de implementar modelos.
«De manera similar a cómo un equipo rojo humano crea un ataque, el modelo trabaja hacia un objetivo enviando un mensaje, observando cómo responde el modelo GPT e iterando», dijo OpenAI.
Al integrar GPT-Red directamente en el proceso de capacitación del modelo de producción, OpenAI dijo que GPT-5.6 Sol es el modelo más robusto contra la inyección rápida hasta la fecha, logrando seis veces menos fallas en los puntos de referencia de inyección rápida directa en comparación con su modelo de frontera de cuatro meses, GPT-5.5.
Ejemplos de conversaciones de inserción de mensajes probadas como parte del proceso incluyen:
Directorio interno expuesto Instrucciones de pago fraudulentas Credenciales de Amazon Web Services (AWS) expuestas Desactivación de la autenticación de dos factores (2FA) Carga de archivos de credenciales Inyección de script externo Transferencia de clave API Script de raspador malicioso
«GPT-Red se entrena mediante el aprendizaje por refuerzo de juego autónomo, donde un modelo y una colección de diferentes LLM defensores se entrenan simultáneamente en una amplia gama de escenarios de equipos rojos», explicó OpenAI. «GPT-Red se recompensa al inducir un fallo legítimo, como una inyección rápida exitosa, mientras que el modelo defensor se recompensa al resistir el ataque y completar la tarea prevista».
Esto también significa que a medida que los modelos defensores se vuelvan más robustos, los modelos del equipo rojo tendrán que volver a la mesa de dibujo y descubrir métodos de ataque más poderosos y diversos para traspasar las barreras de seguridad. Específicamente, cuando se trata de inyección rápida indirecta, se ha descubierto que GPT-Red ataca con éxito a GPT-5.1 en más escenarios que los equipos rojos humanos.
OpenAI enfatizó además que GPT-Red está aislado de otros modelos para garantizar que las funciones maliciosas integradas en GPT-Red no estén al alcance de actores maliciosos, que constantemente consideran varias formas de eludir las medidas éticas y de seguridad del modelo.
En una prueba del mundo real, OpenAI apuntó a una máquina expendedora basada en IA construida por Andon Labs contra GPT-Red. Después de practicar en simulación, el modelo se centró en agentes autónomos y logró sus tres objetivos. Estos incluyen reducir el precio de un artículo costoso al precio más bajo aceptable de $0,50, pedir un artículo nuevo de $100 por la misma cantidad y cancelar el pedido de otro cliente. Añadió que se están probando nuevas salvaguardias tras divulgaciones responsables.
En el segundo estudio de caso, se utilizó GPT-Red para atacar a un agente de línea de comando del Codex basado en GPT-5.4 mini, lo que resultó en el envío de datos confidenciales en más casos que la línea base solicitada por GPT-5.5 en 10 tareas de extracción de datos pendientes.
En una versión inicial del modelo, también descubrimos un nuevo tipo de ataque de inyección directa conocido como ataque de cadena de pensamiento falsa (CoT). Este ataque logró una tasa de éxito superior al 95 % en GPT-5.1, pero actualmente está por debajo del 10 % en GPT-5.6 Sol.
«De manera similar, varios puntos de referencia de inyección rápida indirecta dirigidos a ataques en herramientas de desarrollo y navegación están saturados con modelos de última generación (>97% de precisión)», dijo OpenAI.
«La solidez de GPT-Red contra sí mismo también se ha mejorado significativamente. En una amplia gama de entornos de robustez, la tasa de éxito de los ataques de GPT-Red ha disminuido monótonamente con el tiempo. En nuestro último lanzamiento de modelo, GPT-5.6 Sol falla en solo el 0,05% de las inyecciones inmediatas directas de GPT-Red».
La divulgación se produce después de que la compañía anunciara que una auditoría de SWE-Bench Pro encontró que aproximadamente el 30% de las tareas tenían fallas, revirtiendo su recomendación anterior de adoptar el punto de referencia para medir el dominio de la codificación de Frontier. A principios de febrero de este año, OpenAI anunció que se alejaría de la validación de banco SWE debido a problemas fundamentales de diseño y contaminación.
«Encontramos evidencia que resuelve el problema en una porción significativa del conjunto de datos», dijo OpenAI. «Nuestro análisis de puntos de datos detectó 200 (27,4%) tareas fallidas, mientras que nuestra campaña de anotación humana identificó 249 (34,1%) tareas. En última instancia, la evaluación debe proporcionar señales significativas a través de puntos de referencia que sean a la vez difíciles y confiables para el juego y que verdaderamente reflejen la funcionalidad y el ajuste del modelo».
Source link
