OpenAI가 AI 모델을 학습시키는 대신 실행하도록 설계한 맞춤형 칩 Jalapeño의 첫 성능 결과를 공개했다. 회사는 SemiAnalysis의 InferenceX 벤치마크를 사용한 테스트에서, 이 가속기가 현재 उपलब्ध 시스템보다 전력당 처리량이 높고 응답 지연이 낮았다고 밝혔다.

화요일 Hot Chips 컨퍼런스에서 발표된 이 결과는 OpenAI가 자사 제품 뒤의 인프라를 더 많이 통제하려는 더 큰 노력의 일환을 보여준다. 하지만 비교에는 중요한 한계가 있다. OpenAI가 벤치마크 수치를 제공했고, 일부 실행은 SemiAnalysis가 현장에서 검증했으며, Jalapeño는 2026년 말이 되어도 소규모 배치에 들어갈 것으로 예상되지 않는다. 더 본격적인 활용은 2027년으로 계획돼 있다.

기술 설계와 벤치마크 근거

Jalapeño는 추론 가속기로, 학습된 모델로부터 응답을 생성하는 데 목적이 있다. 학습과 추론 모두에 쓰이는 범용 시스템과 달리, 이 칩은 대형 언어 모델을 서비스할 때 발생하는 지연과 데이터 이동을 중심으로 설계됐다.

OpenAI는 이 시스템이 응답 생성 중 사용되는 KV cache를 포함한 모델 상태를 관련 연산 및 메모리 자원 가까이에 유지한다고 말한다. 또한 특히 모델이 긴 프롬프트를 처리하거나 많은 사용자를 동시에 응대해야 할 때 추론을 늦출 수 있는 prefill과 통신 단계도 겨냥한다.

회사는 테스트한 3개 모델 전반에서 피크 처리량 기준 와트당 AI 작업량이 1.5배에서 1.9배 더 많았다고 보고했다. 또한 비교 대상 상용 시스템 중 최고 수준과 비교해 종단간 지연이 1.7배에서 3.6배 개선됐다고 주장했다. 인터랙티브 워크로드에서는 2.1배에서 4.1배의 성능 향상을 보고했다.

테스트된 모델은 GPT-OSS 120B, Deepseek R1 670B, Kimi K2.5 1T였다. The Decoder의 발표 보도에 따르면, Jalapeño는 GPT-OSS에서 사용자당 초당 약 1,400토큰, Deepseek R1에서는 동시 요청 1건으로 초당 700토큰 이상을 달성했다.

이 수치는 AI 하드웨어의 보편적 순위를 뜻하지 않는다. InferenceX 결과에 사용된 수치는 OpenAI가 제공했고, SemiAnalysis는 일부 실행을 자사 연구실에서 검증했다. 비교 시스템은 멀티 토큰 예측과 speculative decoding 같은 최적화 기술도 사용했는데, Jalapeño는 보고된 테스트에서 이를 사용하지 않았다. 이는 개선 여지를 남기지만, 전체 구성과 워크로드를 살펴보지 않으면 비교가 더 어려워진다.

Nvidia 비교는 의미 있지만 아직 잠정적이다

가장 주목받는 비교는 Nvidia Blackwell 시스템과의 것이었는데, 이는 현재 AI 워크로드에 널리 배치돼 있다. The Decoder는 또한 SemiAnalysis가 Nvidia의 더 새로운 Vera Rubin 플랫폼을 더 적절한 비교 대상으로 봤다고 전했는데, 두 시스템 모두 HBM4 메모리를 사용하기 때문이다. 그 비교에서 Jalapeño는 메가와트당 출력 토큰 수가 더 많았다고 전해졌지만, 두 플랫폼은 토큰당 총소유비용에서는 대체로 비슷했다.

시점도 중요하다. Vera Rubin 시스템은 이미 고객에게 출하되고 있지만, Jalapeño는 아직 엔지니어링 샘플 단계에 머물러 있는 것으로 전해진다. Nvidia와 AMD도 DeepSeek V4 Pro와 Kimi K3를 포함한 더 크거나 최신 모델에 대한 결과를 공개했는데, 이는 여기 인용된 Jalapeño 테스트에는 포함되지 않았다.

따라서 OpenAI의 성능 우위는 확정된 시장 지위가 아니라 유망한 초기 결과로 봐야 한다. 모델, 커널, 메모리 구성, 소프트웨어 스택, 서비스 정책이 바뀌면 하드웨어 벤치마크도 크게 달라질 수 있다. 최종 시험은 OpenAI가 실제 생산 규모로 운영하는 모델과 트래픽 패턴에서 Jalapeño가 어떻게 작동하느냐가 될 것이다.

Broadcom과의 맞춤형 실리콘 전략

보도에 따르면 OpenAI는 2024년 Broadcom과 함께 Jalapeño 개발을 시작했다. 최종 설계는 2025년 11월 제조를 위해 넘겨졌다. OpenAI는 전체 주기가 약 16개월이 걸렸고, 초기 칩 설계에서 완성된 청사진을 공장으로 보내기까지 9개월이 걸렸다고 밝혔다.

회사는 개발 과정에서 자체 AI 모델도 사용했다고 말했다. 오래된 모델은 칩 설계를 도왔고, 더 새로운 시스템은 프로그래밍과 최적화를 지원했다. 이런 주장은 의도된 피드백 루프를 보여준다. 모델이 하드웨어 구축을 돕고, 하드웨어가 모델을 서비스하며, 생산 워크로드가 향후 소프트웨어와 아키텍처 결정을 위한 데이터를 제공한다는 것이다.

OpenAI는 Jalapeño를 일회성 프로세서가 아니라 다세대 플랫폼으로 제시하고 있다. 이 접근은 추론 단계에 맞춰 칩, 메모리, 네트워킹, 모델을 조율한다. OpenAI CFO Sarah Friar는 이를 데이터센터, 모델, 제품, 디바이스를 연결하는 더 큰 컴퓨트 전략의 일부라고 설명했다.

이 전략이 반드시 OpenAI가 외부 공급업체를 버린다는 뜻은 아니다. The Decoder는 회사가 Jalapeño를 Nvidia, AMD, AWS, Cerebras, CoreWeave 및 기타 인프라 제공업체와의 관계를 보완하는 것으로 본다고 보도했다. 실제로 OpenAI의 맞춤형 하드웨어 노력은 이런 파트너십과 병행되며, 동시에 협상과 용량 계획을 위한 또 하나의 선택지도 제공한다.

개발자와 기업 구매자에 대한 시사점

AI 제품 팀에 가장 중요한 약속은 벤치마크 기록 그 자체보다 높은 활용률에서의 서비스 비용 절감 가능성이다. 와트당 출력이 많아지면 채팅, 코딩 보조, 음성 시스템 및 대량의 응답을 생성하는 다른 제품들의 경제성이 개선될 수 있다. 지연이 낮아지면 긴 컨텍스트 애플리케이션도 더 반응적으로 느껴질 수 있다.

아키텍처가 prefill, 통신, 로컬 KV-cache 배치에 초점을 맞춘 점은 많은 동시 사용자에게 대형 모델을 서비스하는 팀에 특히 중요하다. 원시 가속기 성능이 충분해도 이 단계들은 병목이 될 수 있다. 따라서 전체 추론 경로를 중심으로 설계된 시스템은 특정 생산 패턴에서 더 빠른 범용 가속기를 능가할 수 있다.

그러나 구매자들은 현재 결과를 Jalapeño가 광범위한 외부 채택에 준비됐다는 증거로 받아들여서는 안 된다. OpenAI는 이 칩이 상용 플랫폼으로 일반 제공될 것이라고 밝히지 않았고, 초기 배치는 소규모로 예상된다. 클라우드 인프라 위에서 개발하는 사람들은 여전히 지금 사용 가능한 시스템의 소프트웨어 호환성, 용량, 가격, 신뢰성을 평가해야 한다.

그럼에도 이 결과는 Nvidia 소프트웨어 생태계에 경쟁적 질문을 던진다. SemiAnalysis는 이 성능이 Nvidia의 CUDA 우위를 약화시킬 수 있다고 주장했지만, 이는 시장 해석일 뿐 개발자 행동의 입증된 변화는 아니다. CUDA 호환성, 도구, 오퍼레이터 라이브러리, 지원, 공급업체 간 확장 능력은 초당 토큰 수를 넘어서는 중요한 구매 요소로 남아 있다.

다음에 주목할 점

첫 번째 신호는 OpenAI가 2026년 말의 Jalapeño 소량 배치 계획을 맞출 수 있느냐는 것이다. 엔지니어링 샘플 성능이 아니라 생산 가용성이 이 설계가 대규모로 신뢰성 있게 제조되고 운영될 수 있는지 보여줄 것이다.

다음 벤치마크 사이클에는 DeepSeek V4 Pro와 Kimi K3 같은 최신 모델, 더 높은 동시성 수준, 그리고 모든 시스템에 걸친 일치된 소프트웨어 최적화가 포함돼야 한다. 독립 테스트도 전력 사용, 지연 분포, 활용도, 토큰당 총비용을 평가하는 데 중요하다.

기업 구매자들은 접근성, 가격, 지원되는 모델 아키텍처, OpenAI 서비스 스택과의 통합에 대한 세부 사항을 주시해야 한다. 더 넓은 시장에서 핵심 질문은 Nvidia, AMD, 그리고 다른 공급업체들이 자체 추론 플랫폼을 계속 개선하는 가운데 OpenAI가 이후 칩 세대에서도 같은 결과를 반복할 수 있느냐는 것이다.

Creati.ai 관점

Jalapeño가 전략적으로 중요한 이유는 OpenAI가 추론 경제성을 조달 문제가 아니라 제품 설계 문제로 다루고 있음을 보여주기 때문이다. 보고된 성과가 독립 테스트와 실제 생산 트래픽에서도 유지된다면, 맞춤형 실리콘은 OpenAI가 가장 많이 쓰이는 서비스의 지연, 전력 소비, 용량을 더 잘 통제할 수 있게 해줄 수 있다.

증거는 아직 초기 단계이며 일부는 공급업체가 통제하고 있다. 오늘 시점에서 가장 강한 결론은 OpenAI가 고무적인 벤치마크 결과를 내는 설득력 있는 1세대 추론 설계를 만들어냈다는 것이지, 이미 Nvidia를 대체했거나 새로운 하드웨어 표준을 확립했다는 뜻은 아니다.