Cada vez que le haces una pregunta a ChatGPT, esa solicitud desencadena una carrera de retransmisión de datos. La información sale de la memoria, pasa por la CPU para su preprocesamiento, va a la GPU para realizar cálculos pesados y luego regresa. Todo el proceso se repite para cada palabra que genera la IA.
El cuello de botella es estructural, lo que significa que cada solicitud se dirige a través de algunos de los chips más caros y consumidores de energía de la industria. Esta ineficiencia es exactamente lo que XCENA, una startup con oficinas en Corea del Sur y Estados Unidos, está tratando de resolver. La startup de cuatro años ha diseñado un chip que acerca las capacidades informáticas mucho más a la DRAM, un chip de memoria a corto plazo de alta velocidad que almacena datos que un procesador está utilizando activamente. Esto permite que las operaciones de datos de rutina se procesen cerca de la memoria sin costosos viajes de ida y vuelta entre CPU, GPU y memoria.
Si funciona a escala, las implicaciones de costos de la infraestructura de IA pueden ser significativas, lo que explica en gran medida el entusiasmo de los inversores por la empresa. De hecho, XCENA recaudó 135 millones de dólares en la Serie B con una valoración de 570 millones de dólares, lo que eleva su financiación total a 185 millones de dólares.
El director ejecutivo de XCENA, Jin Kim, cofundó la startup en 2022 con el CTO Dohoon Kim y el CPO Harry Joo-hyun Kim, veteranos de Samsung y SK Hynix, los gigantes de la memoria que suministran los chips que alimentan las GPU de NVIDIA. «Tanto las CPU como las GPU se han vuelto más inteligentes a lo largo de las décadas, pero la memoria nunca se ha vuelto más inteligente. XCENA quiere cambiar eso», dijo Jin Kim en una entrevista con TechCrunch. «Los recientes aumentos en los precios de las memorias y las existencias relacionadas indican un cambio más amplio en la infraestructura de IA hacia arquitecturas centradas en la memoria», añadió. (Este mes, las tres empresas que dominan el mercado mundial de chips de memoria, Samsung, SK Hynix y Micron, superaron cada una el billón de dólares en valoración por primera vez).
XCENA está apostando su negocio a la hipótesis de que «la inferencia no es sólo un problema informático, sino cada vez más un problema de escalamiento de la memoria», dijo Kim.
El chip de XCENA, MX1, se conecta a la CPU a través de Compute Express Link (CXL), esencialmente una vía rápida dedicada entre el procesador y la memoria, y procesa los datos antes de que abandonen el módulo de memoria. Esto lleva la computación a los datos, y no al revés. La compañía afirma que lo que antes requería 10 servidores ahora se puede hacer en solo uno.
«Si bien las GPU son excelentes para la multiplicación de matrices (los cálculos complejos detrás del entrenamiento del modelo de IA), gran parte de la orquestación de datos circundante todavía ocurre en la CPU, como el preprocesamiento, la administración de caché KV (un sistema que guarda el contexto de la conversación anterior para que el modelo no tenga que reprocesarlo) y el almacenamiento en caché de datos. Nuestro chip maneja estas tareas directamente dentro del módulo de memoria», dijo Kim.
La demanda de soluciones de memoria ha aumentado desde la segunda mitad del año pasado y la compañía cree que el momento está jugando a su favor.
Las conversaciones se encuentran en las primeras etapas con varios proveedores globales de memoria, cuyos nombres Kim se negó a nombrar. Los clientes ideales de la empresa son hiperescaladores que gastan decenas de miles de millones de dólares anualmente en infraestructura de IA, e incluso pequeñas mejoras en la eficiencia de la memoria pueden generar ahorros de cientos de millones de dólares.
MX1 sigue siendo un prototipo. Se espera que los chips producidos en masa se envíen desde las líneas de fundición de Samsung a finales de 2026, y la compañía espera generar ingresos a partir de 2027.
Mientras los fabricantes de unidades de procesamiento neuronal (NPU) se apresuran a competir con Nvidia para las cargas de trabajo de entrenamiento, XCENA apunta a las capas subyacentes que consumen mucha memoria.
Los competidores más cercanos de XCENA incluyen Astera Labs y Marvell, ambas empresas que cotizan en Nasdaq y que trabajan en conectividad de memoria de próxima generación. Marvell ya es una empresa grande y establecida que opera en el mismo espacio, dijo Kim, y agregó que el factor diferenciador en última instancia se reduce a la propiedad intelectual. «Tenemos miles de núcleos», dijo Kim. Basado en especificaciones públicas, el enfoque de Marvell se basa en una cantidad comparativamente pequeña de núcleos de propósito general.
Estos núcleos se basan en RISC-V, un modelo de diseño de chip de código abierto, y están optimizados específicamente para el procesamiento de datos, y cada núcleo se mantiene intencionalmente pequeño y eficiente. Más allá del propio núcleo, XCENA diseña su propia jerarquía de memoria interna, bus de interconexión y controlador DRAM. Este es el nivel de integración vertical que la mayoría de las empresas de chips, incluidos sus rivales más grandes, suelen subcontratar.
Las empresas de capital de riesgo con sede en Seúl Atinum e IMM Investment codirigieron la ronda Serie B junto con Corstone Asia y los inversores existentes SBI Investment y Mirae Asset Capital. La compañía tiene más de 90 empleados en oficinas en Pangyo, un centro tecnológico en las afueras de Seúl, y Sunnyvale, y está en conversaciones con inversionistas extranjeros para recaudar fondos adicionales.
Si compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta la independencia editorial.
Source link
