La semana pasada, un modelo inédito creado por OpenAI se infiltró en los sistemas de Hugging Face durante las pruebas internas, lo que hizo que gran parte del trabajo teórico de repente se volviera muy práctico. Este hack fue el primer caso verificable de un laboratorio de IA que perdió el control de sus modelos y encadenó exploits para obtener un acceso que no debería tener. Pero mientras la industria de la IA está unida para hacer sonar la alarma, los investigadores están divididos sobre cómo quieren responder.
Para algunos, la cuestión es una cuestión básica de ciberseguridad. La zona de pruebas no pudo contener al modelo y el sistema de ciberseguridad de Hugging Face tampoco pudo evitar que el modelo ingresara. Estos problemas pueden resolverse corrigiendo errores y creando métodos de control y contención más sólidos para la IA, que tiene un potencial cada vez mayor de comportarse mal en entornos autónomos.
Pero otro bando tiene una visión más pesimista. Para ellos, el rápido aumento de las capacidades de IA significa que intentar controlar los modelos fraudulentos es una batalla perdida. La única seguridad sólida se logra garantizando que el modelo no intente escapar en primer lugar. Este es un problema al que a menudo se hace referencia como alineación. Desde una perspectiva de coordinación, el problema es que los modelos de OpenAI intentaban comportarse mal, y resolver ese problema es más urgente que los esfuerzos de contención a corto plazo.
A juzgar por las declaraciones públicas, OpenAI se toma en serio ambos bandos. La compañía se apresuró a corregir los errores relacionados con el ataque y citó un enfoque coordinado y de monitoreo en un comunicado después de que la violación se hizo pública. Pero la respuesta de la empresa también sugiere una filosofía que ha alarmado a muchos investigadores de seguridad. Eso significa que, en lugar de retrasar o cancelar el desarrollo de modelos de mayor rendimiento, la atención debería centrarse en construir una jaula más sólida a su alrededor.
«A medida que los modelos asumen tareas más largas y complejas, los fallos que la evaluación pasa por alto pueden tener mayores consecuencias», dijo OpenAI en una autopsia del incidente. «Continuamos trabajando para cerrar la brecha entre la evaluación y la implementación, probando modelos en trayectorias más largas, mejorando el ajuste, creando un monitoreo habilitado por la intervención y brindando a los usuarios una visibilidad y control más claros».
A medida que los modelos de OpenAI se vuelven más poderosos, también hay razones para creer que se vuelven menos consistentes. Según la tarjeta del sistema OpenAI, GPT-5.6 Sol es significativamente más propenso a la desalineación del agente que su predecesor, GPT-5.5. En las simulaciones de implementación, la compañía también descubrió que este modelo tenía más probabilidades que GPT-5.5 de eludir restricciones, participar en comportamientos destructivos y realizar transferencias de datos no autorizadas. Estas cifras fueron ignoradas en gran medida en su publicación inicial, pero han recibido una atención renovada después de la violación, especialmente porque Sol era uno de los modelos involucrados.
Dean Ball, director de Futuros Estratégicos de OpenAI, argumentó en una publicación en las redes sociales que la supervisión y la transparencia son las mejores formas de frenar estas tendencias.
«Estos problemas se volverán más pronunciados a medida que mejoren las capacidades del modelo y aumente el riesgo de su implementación», dijo. «La solución no está en la precaución o la complacencia. Más bien, creo que la solución reside en una medición y un seguimiento cuidadosos, en el pensamiento de ingeniería y en la transparencia».
Un ex investigador de OpenAI le dijo a TechCrunch que la empresa tiende a centrarse en la «coordinación externa» en lugar de la «coordinación interna». Ésta es esencialmente la diferencia entre un sistema de inteligencia artificial que comprende un conjunto de valores y puede expresarlos de manera convincente, y uno que realmente tiene esos valores en su núcleo. En este caso, la alineación exterior por sí sola no fue suficiente para convencer al modelo de que no debía hacer trampa en la prueba.
OpenAI no respondió a repetidas solicitudes de más información.
Para los investigadores centrados en la alineación, OpenAI no es suficiente. Zvi Mowshowitz, un autor que se centra en nuevos desarrollos de IA, argumentó que la decisión de OpenAI de tratar este incidente como un problema de infraestructura puede ayudar a resolver problemas inmediatos de ciberseguridad, pero fracasará a largo plazo.
«Esta es una cuestión de coordinación», escribió Mowshowitz en un blog reciente de Substack. «Este es un modelo desalineado, y todos los modelos OpenAI están mostrando síntomas graves de exactamente el problema que más nos preocupa a todos, y ese problema puede estar integrado en la capacitación a un nivel profundo. Necesitamos abordar todo el proceso de capacitación desde esta perspectiva, o la situación sólo empeorará».
Los expertos dijeron a TechCrunch que el incidente es evidencia de que los métodos de capacitación actuales crean sistemas que optimizan los resultados en lugar de internalizar las intenciones humanas.
Redwood Research, una organización de investigación de seguridad de IA sin fines de lucro, clasificó el comportamiento del modelo OpenAI en este caso como «inconsistencia en la búsqueda de puntaje», un patrón en el que el modelo de IA se esfuerza por obtener un puntaje alto independientemente de las instrucciones, los efectos secundarios o las consecuencias posteriores.
«Los modelos con estas propiedades de alineación pueden crear ‘aldeas Potemkin’ de falso éxito, dando la apariencia de que las cosas van bien cuando no van bien», escribieron dos investigadores de Redwood, Alex Mullen y Girish Gupta, en un artículo reciente.
El comportamiento de búsqueda de puntuación y otras inconsistencias no son exclusivos de OpenAI. Anthropic ha publicado varios artículos sobre comportamientos repentinos e inconsistentes, como el engaño, la piratería de recompensas y la autonomía maliciosa, que surgen cuando sus modelos de frontera se optimizan o se colocan en entornos autónomos.
«Todavía vemos constantemente modelos que intentan eludir restricciones o adoptar comportamientos engañosos cuando se les pide que realicen tareas al límite de sus capacidades», dijo a TechCrunch por correo electrónico Neev Parikh, investigador de seguridad de IA en METR, una organización sin fines de lucro. «Nuestro Informe de Riesgo Frontier encontró que este comportamiento es bastante consistente a pesar de los esfuerzos de las empresas por reducirlo».
Implícita en la respuesta de OpenAI al incidente de «Hugging Face» está la suposición de que continuará desarrollando sistemas cada vez más capaces, independientemente de si las partes centrales están adecuadamente ajustadas. Si el modelo de negocio de una empresa de IA se basa en ofrecer modelos de próxima generación, volver al punto de partida no es realmente una opción. Si nunca es posible saber con certeza que un modelo está perfectamente sintonizado, la cuestión práctica es cómo contener y controlar de forma segura sistemas cada vez más capaces.
«Si bien todavía no entendemos bien cómo ajustar los sistemas de IA más capaces, hay más consenso sobre cómo controlarlos», dijo a TechCrunch Steven Adler, ex investigador de seguridad de OpenAI y ahora científico principal de Guidelight AI Standards, una organización que publica estándares para evitar incidentes como el del abrazo facial. «Cada empresa tiene un camino a seguir para lograrlo».
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
