OpenAI anunció el miércoles su primer procesador de inferencia personalizado, diseñado y fabricado en colaboración con Broadcom. El nuevo procesador, llamado Jalapeño, fue diseñado específicamente para las necesidades únicas de los sistemas de inferencia de OpenAI. El modelo de IA patentado de OpenAI ayudó a desarrollar el chip, dijo la compañía.
El chip aún se está probando, pero OpenAI dice que los primeros resultados muestran un rendimiento por vatio significativamente mejor que las alternativas actuales de última generación.
La asociación se anunció oficialmente en octubre, pero durante mucho tiempo se rumorea que los planes de chips de OpenAI son una forma de reducir la dependencia de la compañía de las GPU de Nvidia. Tanto Google como Amazon han desarrollado chips personalizados que sirven para propósitos similares: silicio diseñado específicamente para acelerar las cargas de trabajo de aprendizaje automático, a menudo denominados «aceleradores de IA».
El presidente de OpenAI, Greg Brockman, explicó el enfoque de la compañía para el desarrollo de chips en un podcast interno poco después de que se anunciara la asociación con Broadcom.
«Entendemos profundamente la carga de trabajo», dijo Brockman durante el episodio. «Hemos estado analizando cargas de trabajo específicas que no están atendidas y pensando en cómo podemos construir algo que pueda acelerar lo que es posible».
Jalapeño está diseñado específicamente para la inferencia, el proceso de ejecutar modelos de IA prediseñados en respuesta a las órdenes del usuario. En su anuncio, OpenAI destacó los bajos costos operativos del chip cuando se ejecutan modelos de codificación en tiempo real. Quizás las tareas más intensivas en rendimiento, como la capacitación previa, aún dependan del hardware de Nvidia, pero incluso una pequeña reducción en los costos de inferencia podría contribuir en gran medida a mejorar los resultados de la empresa.
La optimización de ese sistema de inferencia podría resultar un elemento clave en la economía de la IA del futuro, y podría ocurrir en todos los niveles de la pila. OpenAI ya ha creado productos de agentes como Codex, los modelos que los impulsan y los centros de datos que ejecutan esos modelos. Como explicó la compañía en su anuncio, el cambio a chips dedicados le permitirá avanzar en ese proceso.
«OpenAI no solo desarrolla modelos de frontera y crea productos sobre ellos; diseñamos la infraestructura subyacente, incluidas arquitecturas de chips, núcleos, sistemas de memoria, redes, programación, sistemas de implementación y experiencias de productos», escribió la compañía. «OpenAI funciona en toda la pila, lo que nos permite optimizar cada capa con el mismo objetivo de hacer que nuestros modelos sean más rápidos, más confiables y más asequibles para los usuarios».
Si compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta la independencia editorial.
Source link
