Sean Shen cree que para que la IA tenga éxito en el mundo físico, necesita recordar lo que ve. La empresa de Shen, Memories.ai, utiliza herramientas de inteligencia artificial de Nvidia para construir una infraestructura que permite que los dispositivos portátiles y la robótica recuerden y evoquen recuerdos visuales.
Memories.ai anunció una asociación con el gigante de los semiconductores NVIDIA en la conferencia GTC del lunes. A través de esta asociación, Memories.ai continúa desarrollando tecnología de memoria visual utilizando Cosmos-Reason 2 de Nvidia, un modelo de lenguaje de visión inferencial, y Nvidia Metropolis, una aplicación de resumen y búsqueda de videos.
Shen (en la foto de arriba, a la izquierda) le dijo a TechCrunch que él y su cofundador y director de tecnología Ben Zhou (en la foto de arriba, a la derecha) tuvieron la idea de la empresa mientras construían el sistema de inteligencia artificial detrás de las gafas Ray-Ban de Meta. La construcción de las gafas con IA nos llevó a pensar en cómo se utilizaría realmente la tecnología en el mundo real si el usuario no pudiera recordar los datos de vídeo que estaba grabando.
Miraron a su alrededor para ver si alguien ya estaba creando ese tipo de solución de memoria visual para la IA. Cuando no pudieron hacer eso, decidieron separarse de Meta y construirlo ellos mismos.
«La IA ya funciona muy bien en el mundo digital. ¿Qué pasa en el mundo físico?» Dijo Shen. «Los dispositivos portátiles y los robots con IA también necesitan memoria… En última instancia, la IA necesita memoria visual. Creemos en ese futuro».
En general, la capacidad de memorización de los sistemas de IA es relativamente nueva. OpenAI actualizó ChatGPT para comenzar a recordar chats pasados en 2024 y modificó su funcionalidad en 2025. xAI de Elon Musk y Google Gemini también lanzaron sus propias herramientas de memoria en los últimos dos años.
Pero estos avances se centran principalmente en la memoria basada en texto, afirmó Shen. La memoria basada en texto está mucho más estructurada y es más fácil de indexar, pero es menos útil para aplicaciones físicas de IA que interactúan con el mundo principalmente a través de la vista y lo visual.
evento de crisis tecnológica
San Francisco, California
|
13-15 de octubre de 2026
Memories.ai se fundó en 2024 y ha recaudado 16 millones de dólares hasta la fecha a través de una ronda inicial de 8 millones de dólares en julio de 2025 y una extensión de 8 millones de dólares. La ronda fue dirigida por Susa Ventures con la participación de Seedcamp, Fusion Fund, Crane Venture Partners y otros.
Shen dijo que se necesitan dos cosas para construir con éxito esta capa de memoria visual. Uno es construir la infraestructura necesaria para incrustar e indexar el video en un formato de datos que pueda almacenarse y recuperarse, y el otro es capturar los datos necesarios para entrenar un modelo para que lo haga.
La compañía anunció el modelo de memoria visual a gran escala (LVMM) en julio de 2025. Shen dijo que esto se puede comparar con una versión más pequeña de Gemini Embedding 2, un modelo de recuperación e indexación multimodal lanzado a principios de este mes.
Para la recopilación de datos, la empresa creó LUCI, un dispositivo de hardware usado por sus «recolectores de datos» que graba vídeos utilizados para entrenar modelos. Shen dijo que su empresa no tenía intención de convertirse en una empresa de hardware o vender estos dispositivos, sino que los desarrolló por su cuenta porque no estaba satisfecha con las grabadoras de vídeo disponibles en el mercado que se centraban en formatos de vídeo de alta resolución que agotaban la batería.
La compañía lanzó la segunda generación de LVMM y se asoció con Qualcomm para ejecutar los procesadores de Qualcomm a partir de finales de este año.
Shen dijo que Memories.ai ya se ha asociado con algunas de las principales empresas de dispositivos portátiles, pero se negó a decir cuáles. Aunque ahora hay cierta demanda, Shen ve oportunidades aún mayores por venir en dispositivos portátiles y robótica.
«Cuando se trata de comercialización, nos centramos más en el modelo y la infraestructura porque pensamos que eventualmente habrá un mercado para dispositivos portátiles y robots, pero tal vez no ahora», dijo Shen.
Source link
