The Frontier of Physics AI es un juego de Jenga en un almacén en San Leandro, California.
Ese almacén está ocupado por Encord, una empresa que construye herramientas de datos utilizadas para entrenar modelos de IA. Andrew Ceja es un piloto (como la compañía llama a sus entrenadores de robots) y saca con cuidado bloques de madera de una torre tambaleante mientras usa unos auriculares con una cámara que rastrea lo que ve. Recopilar datos de entrenamiento para un robot sería algo común por sí solo, pero este auricular incluye sensores que miden las ondas cerebrales mientras desmonta cuidadosamente una torre de bloques.
Encord es una de un pequeño pero creciente número de startups que apuestan a que la próxima limitación real para la robótica humanoide y de almacén no es la arquitectura del modelo, sino la abrumadora falta de datos sobre entrenamiento físico en el mundo real. Encord no sólo ayuda a las empresas de robótica a administrar los datos que tienen, sino que también ha creado un negocio en torno a la fabricación de los datos que no poseen.
El auricular de ondas cerebrales que lleva Ceja fue desarrollado por la startup alemana de neurociencia Zander Labs. Zander Labs apuesta a que puede medir la actividad cerebral para inferir estados mentales como error, intención y sorpresa, creando conjuntos de datos más útiles para entrenar modelos. El trabajo de Encord con Zander se encuentra actualmente en la fase piloto. Encord dice que el objetivo es construir un conjunto de datos inicial etiquetado con ondas cerebrales, ejecutarlo en los modelos robóticos de los clientes, evaluar si realmente mejora el rendimiento y luego decidir si se debe ampliar.
El neurocientífico de Zander, Lukas Gehrke, que supervisa el estudio, dijo que la cantidad de actividad cerebral utilizada en un momento dado durante una tarea particular proporciona pistas a los constructores de modelos que intentan determinar cuándo deben implementar modelos que requieran el mayor esfuerzo.
Vineeth Velmurugan, jefe de aprendizaje de robots en Encord, dijo que esto es la «vanguardia» de los esfuerzos para resolver los cuellos de botella de datos de robots. Velmurugan, un veterano de la empresa de automatización de almacenes y laboratorios de robótica de OpenAI, Berkshire Grey, se unió a Encord para desarrollar su equipo interno de creación de datos.
Encord se fundó para permitir a las empresas que crean aplicaciones de visión artificial anotar datos y evaluar modelos. A medida que los clientes de la empresa (Velmurugan trabaja con varias grandes empresas de robótica, pero no quiso ser nombrado) comenzaron a aplicar el aprendizaje de un extremo a otro a las tareas de manipulación de robots, los ejecutivos se dieron cuenta de que necesitaban crear sus propios datos de capacitación en lugar de simplemente administrarlos. «Los datos simplemente no existen», afirmó Vermurugan.
Las apuestas a que la IA generativa puede hacer por los robots lo que hace por los chatbots siguen chocando contra el mismo muro. El LLM se basa en textos y más de Internet. Es difícil encontrar las mismas materias primas para enseñar a las redes neuronales sobre operaciones físicas. Las empresas de vehículos autónomos recolectan sus propias materias primas, pero ampliarlas es difícil. La formación a partir de vídeos funciona, pero carece de la fidelidad de los datos del mundo real. Velmurugan dice que para superar esto se necesitaría un conjunto de datos aproximadamente cinco veces el tamaño del corpus de videos de YouTube. Esta escala ayuda a explicar por qué la generación de datos en sí misma se ha convertido en un negocio y no simplemente en un problema de investigación.
Satisfacer necesidades de datos egocéntricas
Cuando TechCrunch visitó, los pilotos estaban usando una plataforma líder-seguidor (un par de brazos robóticos, uno controlado directamente por un operador humano y el otro imitando sus movimientos) para generar datos sobre tareas como servir café de una cafetera en una taza (que puede ser muy resbaladiza) y apilar fichas de póquer. «Todo tipo de empresas humanoides nos han pedido estas piezas», afirma Velmurugan.
Otra nueva modalidad de datos que está desarrollando Encord utiliza una serie de sensores conectados al antebrazo para detectar señales eléctricas en los músculos. Los vídeos de manos humanas manipulando objetos normalmente no capturan la mano completa, pero Velmurugan espera crear una representación 3D de dónde está la mano en un momento dado basándose en sensores en el brazo, creando una comprensión más sólida del modelo.
El conjunto de datos de Encord está anotado con una descripción física de lo que contiene cada video («apretar un perno con la mano derecha») para ayudar al modelo basado en LLM a comprender lo que está sucediendo. Velmurugan estima que este tipo de anotación densa es 100 veces más valiosa que los «datos basura del ego» para entrenar tareas específicas, y su creación en papel cuesta sólo 20 veces más, lo cual es un buen negocio.
Pero “20x” sigue siendo dinero real, y ese es el problema. Extraer texto de Internet, que es la forma en que los creadores de LLM construyen modelos extrayendo de Stack Overflow y el resto de la web, le cuesta muy poco a Frontier Labs. Este no es el caso de la generación de datos sobre entrenamiento físico. Este es el límite al comparar la IA física y el LLM. Es necesario crear y recopilar este tipo de datos, lo que cambia la economía de la construcción de modelos.
Vermurugan dijo que la visibilidad de Encord en los programas de todas las industrias ahora les brinda una comprensión similar de lo que funciona y lo que no para mejorar los modelos físicos de IA. Parte del argumento de Encord es la ventaja de estar ubicada entre muchas empresas de robótica al mismo tiempo. Identifique qué tecnologías de datos están ganando terreno en todas las industrias más rápido que cualquier cliente individual.
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
