A OpenAI diz que seu primeiro chip de inferência personalizado, Jalapeño, pode entregar substancialmente mais trabalho de IA por watt enquanto reduz a latência de resposta em vários modelos de linguagem grandes. A empresa afirma que o sistema foi projetado para evitar a compensação usual entre throughput e responsividade, uma alegação que pode ganhar importância à medida que agentes de IA aumentam o número de chamadas ao modelo necessárias para concluir uma tarefa.

Os resultados são baseados nos testes da OpenAI com o benchmark público InferenceX e em comparações com sistemas aceleradores disponíveis comercialmente. A OpenAI planeja começar a implantar o Jalapeño dentro de sua infraestrutura de computação até o fim do ano, enquanto continua a qualificação de produção, o desenvolvimento de software e os testes em modelos adicionais.

Ganhos de desempenho relatados pela OpenAI

De acordo com OpenAI, o Jalapeño produziu entre 1,5 e 1,9 vezes mais trabalho de IA por watt no throughput máximo do que os sistemas de comparação em GPT‑OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T. A empresa também relata latência fim a fim de 1,7 a 3,6 vezes menor nas cargas de trabalho testadas.

Para cargas de trabalho altamente interativas, a OpenAI diz que o desempenho foi de 2,1 a 4,1 vezes maior. No Kimi K2.5, descrito pela empresa como o maior modelo público no conjunto de testes, o Jalapeño teria entregado cerca de 1,5 vez mais desempenho de pico por watt e latência fim a fim 3,4 vezes menor do que o sistema de comparação.

Esses números são resultados relatados pela OpenAI, não uma validação independente apresentada nas evidências disponíveis. A empresa diz que os testes usaram o InferenceX, um benchmark público da SemiAnalysis que mede o processo completo de atender a uma solicitação de IA, em vez de focar apenas em especificações no nível do chip.

A OpenAI normalizou as comparações usando a classificação de potência publicada de cada acelerador. O Jalapeño tem classificação de 700 watts, embora a OpenAI diga que a potência sustentada medida ficou em 550 watts ou menos durante as cargas de trabalho testadas. As comparações listadas pela OpenAI incluem sistemas construídos em torno das plataformas GB200 e GB300 da NVIDIA, com valores de potência térmica de projeto do pacote de 1.200 e 1.400 watts, respectivamente.

Um sistema projetado em torno de cargas de trabalho de inferência

O argumento da OpenAI é que a vantagem do Jalapeño vem de mais do que o acelerador em si. A empresa diz que projetou o chip, a memória, a rede, o software e o sistema em escala de rack juntos em torno do comportamento da inferência moderna de modelos de linguagem.

Esse comportamento é desigual. A fase de prefill, quando um prompt é processado, tende a ser intensiva em computação. O decode, quando o modelo gera uma resposta token por token, é mais limitado pela largura de banda de memória. A comunicação entre chips pode adicionar outra fonte de atraso, especialmente quando o estado do modelo precisa se mover entre recursos separados.

O Jalapeño foi concebido para manter os dados, incluindo o cache key-value usado durante a geração, próximos dos recursos computacionais que precisam deles. A OpenAI diz que sua arquitetura de rede permite que uma carga de trabalho permaneça dentro de um único sistema conectado, reduzindo o movimento de dados e ajudando o sistema a lidar de forma eficiente tanto com o prefill quanto com o decode.

Esse objetivo de design é especialmente relevante para agentes de IA. Agentes frequentemente fazem várias chamadas sequenciais ao modelo, usam ferramentas e avaliam resultados intermediários. Um pequeno atraso em cada etapa pode se acumular em uma tarefa visivelmente mais lenta. Um throughput maior também pode ajudar operadores de infraestrutura a atender mais solicitações simultâneas, mas apenas se a latência continuar aceitável para uso interativo.

A IA ajudou a construir e programar o chip

A OpenAI diz que ferramentas de IA estiveram envolvidas diretamente no desenvolvimento do Jalapeño. A empresa relata ter passado do design inicial ao tapeout em nove meses usando IA para explorar implementações, encurtar ciclos de design e verificação e iterar contra cargas de trabalho de modelos. Ela também diz que o trabalho assistido por IA ajudou a otimizar circuitos aritméticos e a encaixar desempenho computacional adicional no cronograma do chip.

O esforço de programação fornece outra parte do argumento da OpenAI a favor do hardware personalizado. Usando Codex com GPT‑Astra, engenheiros levaram três modelos open-weight que não estavam incluídos no plano original de produção do Jalapeño a alto desempenho em dois meses, segundo a empresa.

A OpenAI diz que implementações geradas por IA para blocos selecionados de attention e mixture-of-experts do GPT‑OSS rodaram de 1,5 a 1,8 vez mais rápido do que implementações existentes escritas por especialistas humanos. A empresa limita explicitamente essa alegação a blocos selecionados, e não a modelos completos, portanto isso não deve ser interpretado como uma aceleração do modelo inteiro.

Apoiar novas famílias de modelos ainda exige novos kernels e otimização específica para cada modelo. Essa qualificação é importante para compradores e equipes de infraestrutura que avaliam se um acelerador personalizado pode se adaptar à medida que as arquiteturas dos modelos mudam.

O que o Jalapeño significa para a infraestrutura de IA

Para a OpenAI, o benefício imediato é a alavancagem operacional. Obter mais saída útil do modelo com a mesma capacidade de energia e hardware poderia reduzir o custo de atender solicitações ou permitir que a empresa lide com maior demanda sem aumentar a infraestrutura na mesma velocidade. Menor latência também poderia tornar fluxos de trabalho de agentes mais interativos mais práticos.

O chip não representa um afastamento de fornecedores comerciais de hardware. A OpenAI diz que continuará implantando aceleradores da NVIDIA e de outros parceiros tanto para treinamento quanto para inferência. O Jalapeño, portanto, parece posicionado como uma plataforma adicional dentro de uma estratégia de infraestrutura mista, e não como um substituto imediato para o silício externo.

Para construtores de IA e compradores corporativos, a questão central será se os ganhos relatados sobrevivem às condições de produção. O desempenho em benchmark pode diferir do desempenho em produção devido à maturidade do software, compilação do modelo, capacidade de memória, sobrecarga de rede, padrões de utilização e dificuldade de oferecer suporte a novas famílias de modelos.

A abordagem full-stack da OpenAI pode dar a ela controle mais rígido sobre essas variáveis para suas próprias cargas de trabalho. Ela também cria uma compensação: hardware personalizado pode entregar resultados fortes para os modelos e padrões de serviço para os quais foi projetado, mas seu valor de longo prazo depende de quão rápido a pilha de software consegue acomodar modelos que não foram previstos durante o design.

O que observar a seguir

O primeiro sinal será a implantação. A OpenAI diz que o Jalapeño está programado para entrar em sua infraestrutura de computação até o fim do ano, mas as evidências não especificam a escala inicial, os produtos ou as cargas de trabalho de clientes que o usarão.

O mercado também deve observar medições independentes ou verificáveis por clientes além dos resultados InferenceX da OpenAI. Detalhes úteis incluiriam desempenho sustentado sob utilização de produção, sobrecarga de software, custo por solicitação concluída, cobertura de modelos e comparações que levem em conta a potência total do sistema, e não apenas as classificações publicadas do pacote.

A OpenAI diz que a Gen 2 já está em desenvolvimento e a Gen 3 está tomando forma. O progresso dessas gerações, juntamente com o ritmo de desenvolvimento de kernels para novos modelos, indicará se o Jalapeño está se tornando uma plataforma durável ou principalmente uma otimização para a pilha interna da OpenAI.

Perspectiva da Creati.ai

O Jalapeño é significativo porque a OpenAI está deixando de comprar capacidade de inferência para moldar mais da pilha de hardware e software que determina quão eficientemente seus modelos são atendidos. A combinação relatada de throughput e latência é estrategicamente mais útil do que um único número de velocidade de pico, especialmente para produtos construídos em torno de agentes de IA.

Ainda assim, as alegações mais fortes continuam sendo relatadas pela própria fornecedora, e o chip ainda não foi demonstrado em ampla implantação de produção nas evidências fornecidas. O próximo teste é operacional: se a OpenAI consegue transformar eficiência de benchmark em um serviço confiável, flexível e econômico em meio a modelos em mudança e demanda real de clientes.