La era de dominio incomparable del mercado de Nvidia no ha terminado, pero están surgiendo desafíos y alternativas de todas direcciones.
ZML, la popular startup francesa de IA respaldada por el ganador del Premio Turing Yann LeCun, ha lanzado un software de rendimiento de inferencia que le permite ejecutar una variedad de modelos de lenguaje de código abierto a gran escala en una variedad de chips, incluidos Nvidia, AMD, Google TPU, Apple Metal e Intel Arc.
Con su servidor de inferencia LLM recientemente lanzado, ZML/LLMD, la ambición de la compañía es romper los silos existentes y hacer que diferentes chips estén disponibles para casos de uso de IA a la máxima velocidad disponible y, en algunos casos, más rápido, dijo a TechCrunch el fundador de ZML, Steve Moerin.
A medida que la IA se integra más en nuestro trabajo y vida diaria, la importancia de optimizar la inferencia (también conocida como manejo de indicaciones) ha superado el entrenamiento de modelos, pero a menudo se siente irregular detrás de escena, con barreras de software y arquitectura que conducen a la dependencia del proveedor, dijo Morin.
La promesa del mejor rendimiento en una variedad de chips es una hazaña tecnológica, pero también tiene el potencial de ser un disruptor del mercado a medida que aumentan las preocupaciones sobre los costos relacionados con la IA.
ZML quiere dar a las empresas y a las nubes la opción de utilizar una combinación de chips más baratos y/o de menor potencia. «La idea es devolverle a la gente el poder de construir sus propios sistemas y lograr ganancias reales de eficiencia que permitan una adopción generalizada», dijo Morin.
Dicha asistencia de software podría ayudar a los nuevos fabricantes de chips de IA (muchos de los cuales son europeos), dijo Morin, citando como ejemplos a Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud y VSORA. Pero lo que para él es más importante que su región de origen es que ZML pueda trabajar con ellos en «algo que no se ha hecho antes en ningún lugar del mundo».
Eso no significa que Morin sea bajista con respecto a Nvidia. No lo hace, y eso se debe en parte a la oferta existente. Le dijo a TechCrunch que ZML tiene buenas relaciones con los gigantes de los chips de IA que se preparan para el aumento de la inferencia.
La inferencia es un campo en el que hay mucha inversión, hasta el punto de que se le ha llamado la «fiebre del oro de la inferencia». Por eso, ZML tiene competidores como Baseten, que recientemente fue valorada en 13 mil millones de dólares. Inferact, de los creadores del proyecto de código abierto vLLM. RadixArk, la empresa comercial detrás de SGLang, no es diferente.
Tanto vLLM como SGLang compiten parcialmente con LLMD, pero las ambiciones de Morin para ZML tienen un alcance más amplio. «Hemos llegado a una etapa en la que codiseñamos el silicio», dijo. También le dio crédito al equipo de 20 personas de ZML por permitir que la startup con sede en París planificara más lanzamientos y avanzara rápidamente.
También ayudó que este pequeño equipo estuviera bien financiado en relación con su tamaño. Gracias a su trayectoria como vicepresidente de ingeniería en Zenly, que Snapchat adquirió por nueve cifras en 2017, Morin ha recaudado 20 millones de dólares de empresas de riesgo como 20VC de Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures de Xavier Niel, Kindred Capital, LocalGlobe y Puzzle Ventures.
A diferencia del primer proyecto público de ZML, un marco de aprendizaje automático centrado en la inferencia lanzado en 2024 y actualizado en marzo, ZML/LLMD no es de código abierto. Sin embargo, se lanza como un producto gratuito con el fin de aprender a utilizarlo. «Queremos medir dónde somos más efectivos (y luego generar ingresos) sin frenar tontamente el crecimiento porque fuimos demasiado codiciosos desde el principio», dijo Morin.
Es demasiado pronto para saber cuándo ZML/LLMD se convertirá en un producto pago y cómo será su implementación. Pero la tabla de límites máximos de la startup confirma la atención de otros fundadores, incluido el fundador de Dagger y Docker, Solomon Hykes, Clément Delangue y Julien Chaumond de Hugging Face, y LeCun, ahora en AMI Labs. Esto también es una prueba de que las nuevas empresas europeas de IA se pueden crear desde casa. «No podríamos hacer ZML en ningún otro lugar que no sea París», dijo Morin.
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
