Pensar a Machine Lab quiere hacer que los modelos de IA sean más consistentes

Hubo un gran interés en el Laboratorio de Máquinas de Pensamiento de Mira Murati se está construyendo con $ 2 mil millones en fondos iniciales y un equipo All-Star de ex investigadores de Operai que se unieron al laboratorio. En una publicación de blog publicada el miércoles, el laboratorio de Murati mostró al mundo uno de sus proyectos: crear un modelo de IA con respuestas reproducibles.

Una publicación de blog de investigación titulada «Derrota no decisiva en la inferencia de LLM» intenta desbloquear las causas fundamentales de lo que introduce la aleatoriedad en las respuestas del modelo de IA. Por ejemplo, hacer chatgpt con la misma pregunta varias veces podría darle una amplia gama de respuestas. Esto ha sido en gran medida aceptado como un hecho en la comunidad de IA. Los modelos de IA de hoy se consideran sistemas no deterministas, pero esto se considera un problema solucionable.

Una publicación escrita por el investigador de laboratorio de Máquinas de pensamiento Horace afirma que la causa raíz de la aleatoriedad de los modelos de IA es la forma en que el núcleo GPU (un pequeño programa que se ejecuta dentro del chip de computadora de NVIDIA) se cose en el proceso de inferencia (todo cuando presiona ENTER EN CHATGPT). Sugiere que un control cuidadoso sobre esta capa de orquestación hace que los modelos de IA sean más deterministas.

Señala que no solo crear respuestas más confiables para empresas y científicos, sino también obtener modelos de IA para generar respuestas reproducibles también podría mejorar la capacitación de aprendizaje de refuerzo (RL). RL es el proceso de recompensar los modelos de IA para las respuestas correctas, pero si todas las respuestas son ligeramente diferentes, los datos son un poco ruidosos. Según él, crear una respuesta del modelo de IA más consistente puede hacer que todo el proceso RL sea «suave». Thinking Machines Lab les dice a los inversores que planea usar RL para personalizar el modelo AI para su negocio.

Murati, ex director de tecnología de Openai, dijo en julio que el primer producto de Thinking Machines Lab se anunciará en los próximos meses y «ayuda a desarrollar modelos y startups personalizados». Todavía se desconoce cuál es el producto o si la técnica de este estudio se utilizará para generar respuestas más reproducibles.

Thinking Machines Lab también dice que planea publicar con frecuencia publicaciones de blog, códigos y otra información sobre su investigación para «no solo beneficiar al público sino también mejorar su propia cultura de investigación». Esta publicación, la primera de la nueva serie de blogs de la compañía llamada «Connectismo», parece ser parte de ese esfuerzo. Operai también se comprometió a abrir investigaciones cuando se fundó, pero a medida que la compañía se cerró más. Verificaremos si el laboratorio de Murati es fiel a esta afirmación.

Los blogs de investigación ofrecen una rara visión de una de las nuevas empresas de IA más secretas de Silicon Valley. Si bien no revela exactamente hacia dónde se dirige la tecnología, muestra que Thinking Machines Lab está abordando algunos de los problemas más importantes con las fronteras de IA Research. La prueba real es si Thinking Machines Lab puede resolver estos problemas y crear un producto en torno a la investigación para justificar su valoración de $ 12 mil millones.