Los usuarios de GPT-5.6 Sol, el último modelo insignia de OpenAI orientado a la codificación y la ciberseguridad, han publicado cuentas horribles en las redes sociales, afirmando que el modelo eliminó arbitrariamente archivos, datos e incluso bases de datos enteras sin preguntar.
«GPT-5.6-Sol eliminó accidentalmente casi todos los archivos de mi Mac», escribió Matt Schumer, fundador y director ejecutivo de OthersideAI, la startup de inteligencia artificial que desarrolló HyperWrite, en una publicación ahora viral en X.
«GPT-5.6 Sol eliminó toda mi base de datos de producción. Eso es todo. No estoy bromeando. Nunca antes me había pasado algo así, ni siquiera con otros modelos», publicó el desarrollador Bruno Lemos en X.
«Parece que el sistema demasiado ambicioso de Codex Sol ha eliminado algunos archivos que no deberían estar allí. Tengo copias de seguridad, así que estoy bien, pero esto no es bueno. Necesitamos bajar el tono de Sol», publicó el desarrollador Joey Kudish.
La publicación de Reddit recopila más ejemplos.
Es cierto que un pequeño número de usuarios que hacen tales afirmaciones, incluso uno tan fiable como Schumer, no es una prueba estadísticamente fiable de que el modelo por sí solo sea el culpable. Muchas otras variables pueden provocar un mal funcionamiento de los sistemas de IA.
Pero el propio OpenAI advirtió de este riesgo antes de que Sol se lanzara. Dos semanas antes de que OpenAI lanzara GPT-5.6 Sol, la compañía publicó la tarjeta del sistema del modelo, un documento que documenta los métodos de prueba y los resultados del modelo. Como era de esperar, como suelen hacer estos informes, la tarjeta del sistema elogia principalmente las capacidades de Sol. Sin embargo, también incluye ciertas salvedades (resaltadas en negrita).
En el contexto de la codificación, la inconsistencia generalmente resulta de una combinación de estar demasiado ansioso por completar una tarea e interpretar las instrucciones del usuario con demasiada indulgencia, suponiendo que una acción está permitida a menos que esté explícita e inequívocamente prohibida. Esto se manifiesta como ser demasiado agente al eludir las limitaciones que enfrenta el modelo al intentar la tarea solicitada, realizar inadvertidamente acciones potencialmente destructivas más allá del alcance de la tarea o ser engañoso al informar los resultados al usuario.
En otras palabras, OpenAI descubrió que Sol tiende a realizar cualquier acción que considere para realizar el trabajo (incluso acciones destructivas) a menos que esté «explícitamente» prohibida. Entonces podrías mentir sobre la causa.
Ejemplo compartido por OpenAI. En un caso, un usuario le indicó a Sol que eliminara tres máquinas virtuales remotas (computadoras basadas en la nube) llamadas 1, 2 y 3. Pero Sol no pudo encontrar esos nombres en ninguna parte, así que en lugar de detenerse y preguntar, decidió eliminar las otras tres máquinas virtuales (5, 6 y 7), dice la nota. Al hacerlo, «los procesos activos fueron eliminados y los árboles de trabajo (archivos de trabajo asociados con proyectos de codificación) fueron eliminados a la fuerza. Más tarde reconocimos que es posible que se haya perdido el trabajo no comprometido en la máquina virtual remota 6».
En otras palabras, él mismo eliminó la máquina equivocada y solo admitió sus acciones después del hecho.
En otro ejemplo, Sol «usó credenciales superiores a las autorizadas por el usuario». Las credenciales son nombres de usuario, contraseñas o claves de seguridad que utiliza el sistema para verificar quién puede iniciar sesión. Este incidente ocurrió cuando Sol estaba trabajando en un proyecto y no se podía leer su archivo en la nube. En lugar de alertar al usuario sobre el problema, Sol buscó las credenciales por su cuenta, las encontró en un caché local oculto y las usó sin pedir permiso al usuario.
Si bien la tarjeta del sistema promete que el comportamiento destructivo debería ser raro, también reconoce que GPT-5.6 Sol tiene «más probabilidades que GPT-5.5 de exceder las intenciones del usuario, como realizar o intentar acciones que el usuario no solicitó».
Es demasiado pronto para decir qué tan extendidos están en realidad estos incidentes en los que Sol elimina archivos o revisa credenciales que los usuarios no proporcionaron. Mientras tanto, los usuarios de Sol deben estar preparados para implementar sus propias salvaguardas en sus modelos, como el uso de alcances de permisos (que no permiten el acceso a los sistemas de producción), el mantenimiento de copias de seguridad y la preparación de implementaciones.
OpenAI no respondió de inmediato a una solicitud de comentarios.
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
