OpenAI dice que su primer chip de inferencia personalizado, Jalapeño, puede ofrecer mucha más trabajo de IA por vatio al tiempo que reduce la latencia de respuesta en varios modelos de lenguaje grandes. La empresa afirma que el sistema está diseñado para evitar la típica compensación entre rendimiento y capacidad de respuesta, una afirmación que podría importar a medida que los agentes de IA aumentan el número de llamadas al modelo necesarias para completar una tarea.

Los resultados se basan en las pruebas de OpenAI con el benchmark público InferenceX y en comparaciones con sistemas aceleradores disponibles comercialmente. OpenAI planea empezar a desplegar Jalapeño dentro de su infraestructura de cómputo antes de fin de año, mientras continúa con la calificación de producción, el desarrollo de software y las pruebas con modelos adicionales.

Mejoras de rendimiento reportadas por OpenAI

Según OpenAI, Jalapeño produjo entre 1,5 y 1,9 veces más trabajo de IA por vatio a máximo rendimiento que los sistemas de comparación en GPT‑OSS 120B, DeepSeek R1 670B y Kimi K2.5 1T. La empresa también informa de una latencia extremo a extremo entre 1,7 y 3,6 veces menor en las cargas de trabajo probadas.

Para cargas de trabajo altamente interactivas, OpenAI dice que el rendimiento fue de 2,1 a 4,1 veces superior. En Kimi K2.5, descrito por la empresa como el modelo público más grande del conjunto de pruebas, Jalapeño supuestamente ofreció alrededor de 1,5 veces más rendimiento máximo por vatio y una latencia extremo a extremo 3,4 veces menor que el sistema de comparación.

Esas cifras son resultados reportados por OpenAI, no una validación independiente presentada en la evidencia disponible. La empresa dice que las pruebas utilizaron InferenceX, un benchmark público de SemiAnalysis que mide el proceso completo de servir una solicitud de IA en lugar de centrarse solo en especificaciones a nivel de chip.

OpenAI normalizó las comparaciones usando la clasificación de potencia de chip publicada de cada acelerador. Jalapeño está clasificado en 700 vatios, aunque OpenAI dice que la potencia sostenida medida estuvo en 550 vatios o por debajo durante las cargas de trabajo probadas. Las comparaciones enumeradas por OpenAI incluyen sistemas construidos alrededor de las plataformas GB200 y GB300 de NVIDIA, con cifras de potencia térmica de diseño de paquete de 1.200 y 1.400 vatios, respectivamente.

Un sistema diseñado en torno a cargas de trabajo de inferencia

El argumento de OpenAI es que la ventaja de Jalapeño proviene de algo más que el acelerador en sí. La empresa dice que diseñó conjuntamente el chip, la memoria, las redes, el software y el sistema a escala de rack en torno al comportamiento de la inferencia moderna de modelos de lenguaje.

Ese comportamiento es desigual. La fase de prefill, cuando se procesa un prompt, tiende a ser intensiva en cómputo. El decode, cuando el modelo genera una respuesta token por token, está más limitado por el ancho de banda de memoria. La comunicación entre chips puede añadir otra fuente de demora, especialmente cuando el estado del modelo debe moverse entre recursos separados.

Jalapeño está pensado para mantener los datos, incluido el caché clave-valor usado durante la generación, cerca de los recursos de cómputo que los necesitan. OpenAI dice que su arquitectura de red permite que una carga de trabajo permanezca dentro de un único sistema conectado, reduciendo el movimiento de datos y ayudando al sistema a manejar de forma eficiente tanto el prefill como el decode.

Este objetivo de diseño es especialmente relevante para los agentes de IA. Los agentes suelen hacer varias llamadas secuenciales al modelo, usar herramientas y evaluar resultados intermedios. Un pequeño retraso en cada paso puede acumularse y convertir una tarea en algo notablemente más lento. Un mayor rendimiento también puede ayudar a los operadores de infraestructura a atender más solicitudes simultáneas, pero solo si la latencia sigue siendo aceptable para el uso interactivo.

La IA ayudó a construir y programar el chip

OpenAI dice que las herramientas de IA participaron directamente en el desarrollo de Jalapeño. La empresa informa que pasó del diseño inicial al tapeout en nueve meses usando IA para explorar implementaciones, acortar ciclos de diseño y verificación, e iterar frente a cargas de trabajo de modelos. También dice que el trabajo asistido por IA ayudó a optimizar circuitos aritméticos e incorporar rendimiento de cómputo adicional en el calendario del chip.

El esfuerzo de programación aporta otra parte del caso de OpenAI a favor del hardware personalizado. Usando Codex con GPT‑Astra, los ingenieros llevaron tres modelos de pesos abiertos que no estaban incluidos en el plan original de producción de Jalapeño a alto rendimiento en dos meses, según la empresa.

OpenAI dice que implementaciones generadas por IA para bloques seleccionados de atención y mezcla de expertos de GPT‑OSS funcionaron entre 1,5 y 1,8 veces más rápido que las implementaciones existentes escritas por expertos humanos. La empresa limita explícitamente esa afirmación a bloques seleccionados y no a modelos completos, por lo que no debe interpretarse como una aceleración del modelo completo.

La compatibilidad con nuevas familias de modelos todavía requiere nuevos kernels y optimización específica para cada modelo. Esa calificación es importante para compradores y equipos de infraestructura que evalúan si un acelerador personalizado puede adaptarse a medida que cambian las arquitecturas de los modelos.

Qué significa Jalapeño para la infraestructura de IA

Para OpenAI, el beneficio inmediato es el apalancamiento operativo. Obtener más salida útil del modelo con la misma capacidad de energía y hardware podría reducir el coste de servir solicitudes o permitir a la empresa manejar una mayor demanda sin aumentar la infraestructura al mismo ritmo. Una latencia más baja también podría hacer viables flujos de trabajo de agentes más interactivos.

El chip no representa una retirada de los proveedores comerciales de hardware. OpenAI dice que seguirá desplegando aceleradores de NVIDIA y otros socios tanto para entrenamiento como para inferencia. Jalapeño, por tanto, parece estar posicionado como una plataforma adicional dentro de una estrategia de infraestructura mixta, más que como un reemplazo inmediato del silicio externo.

Para los constructores de IA y los compradores empresariales, la pregunta central será si las mejoras reportadas sobreviven a las condiciones de producción. El rendimiento en benchmark puede diferir del rendimiento desplegado debido a la madurez del software, la compilación del modelo, la capacidad de memoria, la sobrecarga de red, los patrones de utilización y la dificultad de soportar nuevas familias de modelos.

El enfoque de pila completa de OpenAI podría darle un control más estrecho sobre esas variables para sus propias cargas de trabajo. También crea una compensación: el hardware personalizado puede ofrecer resultados sólidos para los modelos y patrones de servicio para los que fue diseñado, pero su valor a largo plazo depende de cuán rápido la pila de software pueda acomodar modelos que no se anticiparon durante el diseño.

Qué observar a continuación

La primera señal será el despliegue. OpenAI dice que Jalapeño está programado para entrar en su infraestructura de cómputo antes de fin de año, pero la evidencia no especifica la escala inicial, los productos o las cargas de trabajo de clientes que lo usarán.

El mercado también debería vigilar mediciones independientes o verificables por clientes más allá de los resultados de InferenceX de OpenAI. Los detalles útiles incluirían rendimiento sostenido bajo utilización de producción, sobrecarga de software, coste por solicitud completada, cobertura de modelos y comparaciones que tengan en cuenta la potencia total del sistema en lugar de solo las clasificaciones publicadas del paquete.

OpenAI dice que Gen 2 ya está en desarrollo y que Gen 3 está tomando forma. El progreso de esas generaciones, junto con el ritmo de desarrollo de kernels para nuevos modelos, indicará si Jalapeño se está convirtiendo en una plataforma duradera o principalmente en una optimización para la pila interna de OpenAI.

Perspectiva de Creati.ai

Jalapeño es significativo porque OpenAI está pasando de comprar capacidad de inferencia a dar forma a una mayor parte de la pila hardware-software que determina cuán eficientemente se sirven sus modelos. La combinación reportada de rendimiento y latencia es estratégicamente más útil que una sola cifra de velocidad máxima, especialmente para productos construidos alrededor de agentes de IA.

Aun así, las afirmaciones más fuertes siguen siendo reportadas por el proveedor, y el chip aún no se ha demostrado en un despliegue amplio de producción en la evidencia proporcionada. La próxima prueba es operativa: si OpenAI puede traducir la eficiencia de benchmark en un servicio fiable, flexible y rentable a través de modelos cambiantes y demanda real de clientes.