Los laboratorios de IA compiten para construir centros de datos del tamaño de Manhattan, cada uno de los cuales cuesta miles de millones de dólares y utiliza tanta energía como una ciudad pequeña. Este esfuerzo está impulsado por una profunda creencia en la ampliación. La idea es que al agregar más potencia informática a los métodos de entrenamiento de IA existentes, eventualmente crearemos sistemas superinteligentes que puedan realizar todo tipo de tareas.
Pero los investigadores de IA dicen cada vez más que la ampliación de grandes modelos lingüísticos puede estar llegando a sus límites y que es posible que se necesiten otros avances para mejorar el rendimiento de la IA.
Eso es lo que apuesta Sara Hooker, ex vicepresidenta de investigación de IA en Cohere y ex alumna de Google Brain, con su nueva startup Adaption Labs. Cofundó la empresa con Cohere y el veterano de Google Sudip Roy. La empresa se basa en la idea de que ampliar el LLM se ha convertido en una forma ineficiente de obtener más rendimiento de los modelos de IA. Hooker, quien dejó Cohere en agosto, anunció discretamente la puesta en marcha este mes para comenzar a contratar de manera más amplia.
En una entrevista con TechCrunch, Hooker dijo que Adaption Labs está construyendo un sistema de inteligencia artificial que puede adaptarse y aprender continuamente de la experiencia del mundo real, y hacerlo de manera extremadamente eficiente. Se negó a compartir detalles sobre la metodología detrás de este enfoque o si la empresa depende de LLM u otra arquitectura.
«Estamos en un punto de inflexión en el que está claro que la forma en que simplemente escalamos estos modelos, el atractivo pero muy aburrido enfoque de la píldora de escalamiento, no produce inteligencia que pueda navegar e interactuar con el mundo», dijo Hooker.
Según Hooker, la adaptación es «la esencia del aprendizaje». Por ejemplo, pasé junto a la mesa del comedor y me golpeé el dedo del pie. De esa manera, la próxima vez podrás caminar alrededor de la mesa con más cuidado. AI Lab buscó capturar esta idea a través del aprendizaje por refuerzo (RL), que permite a los modelos de IA aprender de los errores en un entorno controlado. Sin embargo, las técnicas de RL actuales no ayudan a los modelos de producción de IA (es decir, sistemas ya utilizados por los clientes) a aprender de los errores en tiempo real. Siguen golpeando con los dedos de los pies.
Algunos laboratorios de IA ofrecen servicios de consultoría que permiten a las empresas ajustar los modelos de IA para adaptarlos a sus necesidades personalizadas, pero eso tiene un precio. Según se informa, OpenAI está pidiendo a los clientes que gasten más de 10 millones de dólares para proporcionar servicios de consultoría de ajuste.
evento de crisis tecnológica
san francisco
|
27-29 de octubre de 2025
«Tenemos algunos laboratorios de vanguardia que determinan un conjunto de modelos de IA que están disponibles para todos de la misma manera, pero que son muy costosos de adaptar», dijo Hooker. «Y de hecho, no creo que eso tenga que ser cierto ya. Los sistemas de IA pueden aprender muy eficientemente de su entorno. Demostrar eso cambiará por completo la dinámica de quién controla y da forma a la IA y, de hecho, a quién sirven en última instancia estos modelos».
Adaption Labs es la última señal de que la confianza de la industria en la ampliación de los LLM está flaqueando. Un artículo reciente de investigadores del MIT encontró que el modelo de IA más grande del mundo pronto podría mostrar rendimientos decrecientes. El ambiente en San Francisco parece estar cambiando. Dwarkesh Patel, un popular podcaster en el mundo de la IA, organizó recientemente una conversación inusualmente escéptica con un conocido investigador de IA.
El ganador del Premio Turing, Richard Sutton, considerado el «padre de la RL», dijo a Patel en septiembre que los LLM no pueden ser verdaderamente escalables porque no aprenden de la experiencia del mundo real. Este mes, Andrej Karpathy, uno de los primeros empleados de OpenAI, le dijo a Patel que le preocupaba el potencial a largo plazo de RL para mejorar los modelos de IA.
Este tipo de miedo no tiene precedentes. A finales de 2024, algunos investigadores de IA expresaron su preocupación de que la ampliación de los modelos de IA mediante un entrenamiento previo (donde el modelo de IA aprende patrones de grandes conjuntos de datos) estaba generando rendimientos decrecientes. Hasta entonces, la formación previa era el ingrediente secreto de OpenAI y Google para mejorar sus modelos.
Si bien estas preocupaciones sobre el escalamiento previo al entrenamiento ahora aparecen en los datos, la industria de la IA ha encontrado otra forma de mejorar los modelos. En 2025, los avances revolucionarios en los modelos de inferencia de IA mejorarán aún más las capacidades de los modelos de IA al requerir tiempo y recursos computacionales adicionales para resolver problemas antes de que puedan ser respondidos.
AI Lab parece creer que ampliar los modelos de inferencia de IA y RL es la nueva frontera. Los investigadores de OpenAI le dijeron anteriormente a TechCrunch que desarrollaron su primer modelo de inferencia de IA, o1, porque creían que se podía ampliar bien. Investigadores de Meta y Periodic Labs publicaron recientemente un artículo que analiza cómo RL puede mejorar aún más el rendimiento. Según se informa, el estudio costó más de 4 millones de dólares, lo que pone de relieve lo costosos que son los enfoques actuales.
Por el contrario, Adaption Labs pretende encontrar el próximo avance y demostrar que aprender de la experiencia es mucho más barato. La compañía estaba en conversaciones para recaudar entre 20 y 40 millones de dólares en una ronda inicial a principios de este otoño, según tres inversores que vieron los materiales de la propuesta de la compañía. Desde entonces, la ronda se cerró, pero se desconoce el monto final. Hooker se negó a hacer comentarios.
Cuando se le preguntó sobre los inversores, Hooker dijo: «Vamos a ser muy ambiciosos».
Hooker dirigió anteriormente Cohere Labs, donde entrenó modelos de IA a pequeña escala para casos de uso empresarial. Hoy en día, los sistemas de IA compactos superan regularmente a los sistemas de IA más grandes en puntos de referencia de codificación, matemáticas y razonamiento. Hooker espera continuar con esta tendencia.
También se ganó la reputación de ampliar el acceso a la investigación de IA a nivel mundial mediante la contratación de talentos investigadores de regiones subrepresentadas como África. Adaption Labs planea abrir pronto una oficina en San Francisco, pero Hooker dijo que planea contratar en todo el mundo.
Si Hooker y Adaptation Lab tienen razón sobre los límites de la escala, el impacto podría ser significativo. Ya se han invertido miles de millones de dólares en ampliar el LLM con el supuesto de que modelos más grandes conducirán a una inteligencia general. Pero el verdadero aprendizaje adaptativo puede resultar no sólo más poderoso, sino también mucho más eficiente.
Marina Temkin contribuyó con el reportaje.
Source link
