OpenAI는 자사의 첫 맞춤형 추론 칩인 Jalapeño가 여러 대형 언어 모델에서 응답 지연을 줄이면서 와트당 더 많은 AI 작업을 수행할 수 있다고 말합니다. 회사는 이 시스템이 처리량과 반응성 사이의 흔한 트레이드오프를 피하도록 설계되었다고 설명하며, AI 에이전트가 작업을 완료하는 데 필요한 모델 호출 수를 늘리는 상황에서 이 주장이 중요해질 수 있다고 봅니다.

이 결과는 OpenAI가 공개 InferenceX 벤치마크로 수행한 테스트와 상용으로 उपलब्ध한 가속기 시스템과의 비교에 기반합니다. OpenAI는 연말까지 자사 컴퓨팅 인프라에 Jalapeño를 배치하기 시작할 계획이며, 동시에 생산 적격성 검증, 소프트웨어 개발, 추가 모델 테스트를 계속할 예정입니다.

OpenAI가 보고한 성능 향상

OpenAI에 따르면 Jalapeño는 GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T에서 최대 처리량 기준으로 비교 시스템보다 와트당 AI 작업량이 1.5배에서 1.9배 더 높았습니다. 회사는 또한 테스트한 워크로드 전반에서 엔드투엔드 지연 시간이 1.7배에서 3.6배 낮았다고 보고합니다.

상호작용성이 높은 워크로드에서는 성능이 2.1배에서 4.1배 더 높았다고 OpenAI는 말합니다. 회사가 테스트 세트에서 가장 큰 공개 모델로 설명한 Kimi K2.5에서 Jalapeño는 비교 시스템보다 와트당 최대 성능이 약 1.5배 높고 엔드투엔드 지연 시간은 3.4배 낮았다고 합니다.

이 수치는 OpenAI가 보고한 결과이며, 이용 가능한 증거에 제시된 독립 검증은 아닙니다. 회사는 테스트에 칩 수준 사양에만 초점을 맞추지 않고 AI 요청 제공의 전체 과정을 측정하는 SemiAnalysis의 공개 벤치마크인 InferenceX를 사용했다고 말합니다.

OpenAI는 각 가속기의 공개 칩 전력 등급을 사용해 비교를 정규화했습니다. Jalapeño의 정격은 700와트이지만, OpenAI는 테스트 워크로드 동안 측정된 지속 전력이 550와트 이하였다고 말합니다. OpenAI가 제시한 비교에는 NVIDIA의 GB200 및 GB300 플랫폼을 기반으로 한 시스템이 포함되며, 패키지 열 설계 전력은 각각 1,200와트와 1,400와트입니다.

추론 워크로드를 중심으로 설계된 시스템

OpenAI의 주장은 Jalapeño의 우위가 가속기 자체 이상에서 비롯된다는 것입니다. 회사는 칩, 메모리, 네트워킹, 소프트웨어, 랙 규모 시스템을 현대 언어 모델 추론의 동작을 중심으로 함께 설계했다고 말합니다.

이 동작은 균일하지 않습니다. 프롬프트를 처리하는 prefill 단계는 계산 집약적인 경향이 있습니다. 모델이 토큰 단위로 응답을 생성하는 decode 단계는 메모리 대역폭에 더 제약됩니다. 특히 모델 상태를 분리된 자원 간에 이동해야 할 때 칩 간 통신은 또 다른 지연 원인이 될 수 있습니다.

Jalapeño는 생성 중 사용하는 key-value 캐시를 포함한 데이터를 필요한 컴퓨팅 자원 가까이에 유지하도록 설계되었습니다. OpenAI는 자사의 네트워크 아키텍처가 워크로드를 하나의 연결된 시스템 안에 머물게 하여 데이터 이동을 줄이고, 시스템이 prefill과 decode를 모두 효율적으로 처리하도록 돕는다고 말합니다.

이 설계 목표는 AI 에이전트에 특히 중요합니다. 에이전트는 종종 여러 차례 모델을 순차 호출하고, 도구를 사용하며, 중간 결과를 평가합니다. 각 단계의 작은 지연도 누적되면 작업이 눈에 띄게 느려질 수 있습니다. 또한 더 높은 처리량은 인프라 운영자가 더 많은 동시 요청을 처리하는 데 도움이 될 수 있지만, 상호작용적 사용에서 허용 가능한 지연 시간이 유지되어야만 합니다.

AI가 칩 개발과 프로그래밍을 도왔다

OpenAI는 AI 도구가 Jalapeño 개발에 직접 관여했다고 말합니다. 회사는 구현 방안을 탐색하고 설계 및 검증 주기를 단축하며 모델 워크로드를 대상으로 반복 개선하는 데 AI를 활용해 초기 설계부터 tapeout까지 9개월이 걸렸다고 보고합니다. 또한 AI 지원 작업이 산술 회로를 최적화하고 칩 일정에 추가 컴퓨팅 성능을 반영하는 데 도움이 되었다고 합니다.

프로그래밍 노력은 맞춤형 하드웨어에 대한 OpenAI의 또 다른 근거를 제공합니다. 회사에 따르면 엔지니어들은 Codex와 GPT‑Astra를 사용해 Jalapeño의 원래 생산 계획에 포함되지 않았던 세 개의 open-weight 모델을 두 달 만에 높은 성능 수준으로 끌어올렸습니다.

OpenAI는 GPT‑OSS의 일부 attention 및 mixture-of-experts 블록에 대해 AI가 생성한 구현이 인간 전문가가 작성한 기존 구현보다 1.5배에서 1.8배 더 빠르게 실행되었다고 말합니다. 회사는 이 주장을 전체 모델이 아니라 선택된 블록에만 한정하므로, 전체 모델 속도 향상으로 해석해서는 안 됩니다.

새로운 모델 계열을 지원하려면 여전히 새로운 kernel과 모델별 최적화가 필요합니다. 이 점은 모델 아키텍처가 바뀌는 가운데 맞춤형 가속기가 적응할 수 있는지 평가하는 구매자와 인프라 팀에게 중요합니다.

Jalapeño가 AI 인프라에 의미하는 것

OpenAI에 즉각적인 이점은 운영 레버리지입니다. 같은 전력과 하드웨어 용량으로 더 유용한 모델 출력을 얻을 수 있다면 요청 처리 비용을 낮추거나, 인프라를 같은 속도로 늘리지 않고도 더 큰 수요를 감당할 수 있습니다. 지연 시간이 낮아지면 더 상호작용적인 에이전트 워크플로도 실용화될 수 있습니다.

이 칩은 상용 하드웨어 공급업체에서의 이탈을 의미하지 않습니다. OpenAI는 훈련과 추론 모두에서 NVIDIA 및 다른 파트너의 가속기를 계속 배치할 것이라고 말합니다. 따라서 Jalapeño는 외부 실리콘을 즉시 대체하는 것이 아니라, 혼합형 인프라 전략 안의 추가 플랫폼으로 자리 잡은 것으로 보입니다.

AI 개발자와 기업 구매자에게 핵심 질문은 보고된 개선이 실제 생산 환경에서도 유지되는지 여부입니다. 벤치마크 성능은 소프트웨어 성숙도, 모델 컴파일, 메모리 용량, 네트워크 오버헤드, 활용 패턴, 새로운 모델 계열 지원의 어려움 때문에 실제 배포 성능과 달라질 수 있습니다.

OpenAI의 풀스택 접근은 자사 워크로드에 대해 이러한 변수들을 더 엄격하게 통제할 수 있게 해줄 수 있습니다. 동시에 이는 트레이드오프도 만듭니다. 맞춤형 하드웨어는 설계 대상이 된 모델과 제공 패턴에는 강력한 결과를 낼 수 있지만, 장기적 가치는 설계 당시 예상하지 못한 모델을 소프트웨어 스택이 얼마나 빨리 수용할 수 있는지에 달려 있습니다.

다음에 주목할 점

첫 번째 신호는 배포입니다. OpenAI는 Jalapeño를 연말까지 자사 컴퓨팅 인프라에 도입할 예정이라고 말하지만, 제시된 증거에는 초기 규모나 이를 사용할 제품 또는 고객 워크로드가 명시되어 있지 않습니다.

시장도 OpenAI의 InferenceX 결과를 넘어서는 독립적이거나 고객 검증 가능한 측정치를 주시해야 합니다. 유용한 세부 사항으로는 생산 활용 환경에서의 지속 성능, 소프트웨어 오버헤드, 완료 요청당 비용, 모델 커버리지, 그리고 공개된 패키지 전력 등급뿐 아니라 전체 시스템 전력을 고려한 비교가 포함됩니다.

OpenAI는 Gen 2가 이미 개발 중이고 Gen 3가 형성되고 있다고 말합니다. 이러한 세대의 진전과 새로운 모델을 위한 kernel 개발 속도는 Jalapeño가 지속 가능한 플랫폼이 되어 가는지, 아니면 주로 OpenAI 내부 스택을 위한 최적화인지 보여줄 것입니다.

Creati.ai 관점

Jalapeño가 중요한 이유는 OpenAI가 추론 용량을 구매하는 단계에서 벗어나, 자사 모델을 얼마나 효율적으로 제공하는지를 결정하는 하드웨어-소프트웨어 스택의 더 많은 부분을 직접 형성하는 단계로 이동하고 있기 때문입니다. 보고된 처리량과 지연 시간의 조합은 단일 최고 속도 수치보다 전략적으로 더 유용하며, 특히 AI 에이전트를 중심으로 구축된 제품에서 그렇습니다.

그럼에도 가장 강한 주장들은 여전히 공급업체 보고에 머물러 있으며, 제공된 증거에서는 칩이 아직 광범위한 생산 배치로 입증되지 않았습니다. 다음 시험은 운영입니다. OpenAI가 벤치마크 효율을 변화하는 모델과 실제 고객 수요 전반에 걸쳐 신뢰할 수 있고 유연하며 비용 효율적인 서비스로 전환할 수 있는지입니다.