Uno de los mayores puntos de venta de los sistemas de IA modernos es su capacidad para adaptarse al usuario. Cada vez que el asistente de IA asume una tarea por ti, también se adapta a tu estilo y preferencias, que luego se incluyen como contexto para futuras tareas. Con más contexto y una mejor comprensión del usuario, el modelo se puede mejorar con cada uso. Al menos esa es la teoría.
Una nueva investigación sugiere que la capacidad del modelo para adaptarse puede ser algo bueno. El miércoles, investigadores de la empresa de inteligencia artificial Writer publicaron dos artículos que muestran cómo los sistemas de memoria comunes pueden degradar los modelos y provocar malentendidos y malentendidos introducidos por los usuarios. Cuantas más entradas del usuario llenen la ventana contextual del modelo, más se vuelve el modelo adulador y menos comprometido con la precisión.
«Queríamos caracterizar con qué frecuencia el modelo presta atención útil a las preferencias del usuario y con qué frecuencia da respuestas que pueden ser incorrectas», dijo Dan Bikel, jefe de IA en Writer, que trabajó en el artículo. Como dijo Bikel a TechCrunch, «Cada vez que almacenas y recuperas más configuraciones de usuario, el riesgo aumenta».
En una variación, los investigadores probaron el modelo de IA registrando que el libro favorito de un usuario era «Station Eleven» y pidiéndole al modelo que nombrara el libro distópico más vendido. Incluso si la pregunta no estaba relacionada con el libro favorito del usuario, era mucho más probable que el modelo mencionara «Estación Once» en su respuesta. El uso de herramientas de compresión de memoria como Mem0 y Zep hizo que esto fuera aún más cierto.
«Básicamente, todos los sistemas de memoria luchan por distinguir entre contextos relevantes y anclajes irrelevantes, lo que perjudica gravemente la diversidad y la creatividad e introduce sesgos no deseados que pueden limitar la utilidad del sistema», dice el artículo.
El segundo artículo muestra cómo la misma dinámica puede degradar activamente el desempeño, engañar a los usuarios sobre las finanzas y desafiar los modelos que analizan el desempeño corporativo. Cuanto más contexto contenga un modelo, peor será su desempeño.
«Sin memoria ni personalización presente, el modelo de IA evalúa correctamente que la empresa es un negocio intensivo en capital que sufre una alta rotación de clientes», se lee en la publicación. «Sin embargo, cuando estas funciones están activadas, están dispuestos a cambiar sus respuestas para estar de acuerdo con los errores del usuario o proporcionar respuestas incorrectas basadas en las calificaciones de preferencias anteriores del usuario».
En particular, este estudio no consideró el reciente modelo Opus 4.8 de Anthropic, que fue entrenado para rechazar activamente errores de entrada como el presentado. Los patrones descubiertos por los investigadores son válidos en una variedad de modelos. Esto muestra cuán delicado es el equilibrio del contexto de la IA y cuán útiles las herramientas pueden tener consecuencias no deseadas cuando se altera ese equilibrio.
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
