El nuevo trabajo de investigación de OpenAI pregunta si los modelos de idiomas a gran escala como GPT-5 y modelos de idiomas a gran escala como chatbots como ChatGPT todavía están alucinando, y si se puede hacer algo para reducir esas alucinaciones.
En una publicación de blog que resume el documento, OpenAI define las alucinaciones como «declaraciones plausibles pero falsas generadas por los modelos de idiomas», reconociendo que a pesar de las mejoras, las alucinaciones «continuaron siendo un desafío fundamental para todos los modelos de idiomas principales».
Para explicar el punto, los investigadores dicen cuando preguntaron sobre el título del doctorado de Adam Tauman Kalai: «Chatbot ampliamente usado». Tesis, obtuvieron tres respuestas diferentes, todas están equivocadas. (Karai es uno de los autores del periódico). Luego preguntaron sobre su cumpleaños y recibieron tres fechas diferentes. De nuevo, todos estaban equivocados.
¿Por qué los chatbots están tan equivocados? Los investigadores sugieren que las alucinaciones ocurren debido a los procesos de pre-entrenamiento centrados en predecir correctamente el modelo sin adjuntar etiquetas verdaderas o falsas adjuntas a la declaración de entrenamiento.
«La ortografía y paréntesis siguen un patrón consistente, por lo que el error desaparece en escala», escriben. «Sin embargo, como el cumpleaños de una mascota, cualquier hecho de baja frecuencia no puede predecirse solo del patrón y, por lo tanto, conduce a alucinaciones».
Sin embargo, la solución propuesta no se centra en el proceso de requisito previo inicial, por lo que se ha evaluado un gran modelo de modelos de lenguaje. Los modelos de evaluación actuales no causan alucinaciones per se, pero argumentan que «establecen los incentivos incorrectos».
Los investigadores comparan estas calificaciones con los tipos de conjeturas aleatorias. Porque «garantizado cero» mientras deja la respuesta en blanco, «tendrás suerte y tal vez tengas razón».
Eventos de TechCrunch
San Francisco
|
27-29 de octubre de 2025
«De la misma manera, si el modelo está clasificado solo con precisión, se alienta al porcentaje exacto de preguntas a adivinar en lugar de decir» No sé «, dicen.
La solución propuesta es similar a una prueba que incluye créditos parciales (como SAT) para dejar un blanco para desalentar lo negativo (puntuación) de respuestas incorrectas o adivinanzas ciegas. Del mismo modo, Operai afirma que valorar el modelo debería «castigar un error seguro en lugar de castigar la incertidumbre y dar créditos parciales por la expresión apropiada de incertidumbre».
Y los investigadores argumentan que «no es suficiente introducir algunas nuevas pruebas conscientes de la incertidumbre en el lado. En cambio,» una evitación generalizada basada en la precisión debe actualizarse para que la puntuación evite adivinar «.
«Cuando el marcador principal continúa recompensando las conjeturas de la fortuna, el modelo continúa aprendiendo especulaciones», dice el investigador.
Source link
