OpenAIは、同社初のカスタム推論チップ「Jalapeño」が、複数の大規模言語モデルにおいて応答レイテンシを下げながら、ワットあたりのAI処理量を大幅に増やせると述べています。同社によれば、このシステムはスループットと応答性の間で通常生じるトレードオフを避けるよう設計されており、AIエージェントがタスク完了のために必要とするモデル呼び出し回数が増える中で重要な意味を持つ可能性があります。

この結果は、OpenAIが公開ベンチマーク「InferenceX」で実施したテストと、市販のアクセラレータシステムとの比較に基づいています。OpenAIは年内にJalapeñoの自社計算インフラへの導入を開始する予定であり、並行して生産認定、ソフトウェア開発、さらに追加モデルでのテストを進めるとしています。

OpenAIが報告した性能向上

OpenAIによると、JalapeñoはGPT‑OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tにおいて、最大スループット時のワット当たりAI処理量が比較システムより1.5倍から1.9倍高かったとのことです。同社はまた、テストしたワークロード全体でエンドツーエンド遅延が1.7倍から3.6倍低かったと報告しています。

高い対話性を要するワークロードでは、性能が2.1倍から4.1倍高かったとOpenAIは述べています。同社がテストセット内で最大の公開モデルと説明するKimi K2.5では、Jalapeñoは比較システムよりおよそ1.5倍高いピーク性能/ワットと、3.4倍低いエンドツーエンド遅延を示したとされています。

これらの数値はOpenAIによる報告結果であり、入手可能な証拠に独立検証は示されていません。同社によれば、テストにはSemiAnalysisの公開ベンチマークInferenceXが使われ、チップ単体の仕様だけでなく、AIリクエストを提供する全体プロセスを測定したとしています。

OpenAIは、各アクセラレータの公開チップ電力定格を用いて比較を正規化しました。Jalapeñoの定格は700ワットですが、OpenAIはテストしたワークロード中の実測持続電力は550ワット以下だったと述べています。OpenAIが挙げる比較対象には、NVIDIAのGB200およびGB300プラットフォームを基盤とするシステムが含まれ、パッケージの熱設計電力はそれぞれ1,200ワットと1,400ワットです。

推論ワークロードを前提に設計されたシステム

OpenAIの主張は、Jalapeñoの優位性がアクセラレータ単体以上の要素から生まれているという点にあります。同社は、チップ、メモリ、ネットワーク、ソフトウェア、そしてラックスケールのシステムを、現代の言語モデル推論の振る舞いに合わせて一体設計したと述べています。

その振る舞いは一様ではありません。プロンプトを処理するprefill段階は、計算集約的になりがちです。モデルがトークンごとに応答を生成するdecode段階は、よりメモリ帯域に制約されます。特にモデル状態を別々のリソース間で移動させる必要がある場合、チップ間通信が遅延の別要因になることがあります。

Jalapeñoは、生成時に使われるキー・バリュー・キャッシュを含むデータを、それを必要とする計算資源の近くに保つことを意図しています。OpenAIによれば、同社のネットワークアーキテクチャにより、ワークロードを1つの接続されたシステム内にとどめられ、データ移動を減らし、prefillとdecodeの両方を効率的に処理できるようになります。

この設計目標は、特にAIエージェントにとって重要です。エージェントはしばしば複数のモデル呼び出しを順次行い、ツールを使い、中間結果を評価します。各ステップでのわずかな遅延でも積み重なると、タスク全体が目に見えて遅くなります。スループット向上は、インタラクティブ用途で許容できるレイテンシが保たれるなら、インフラ運用者がより多くの同時リクエストを処理する助けにもなります。

AIがチップの開発とプログラミングを支援

OpenAIは、Jalapeñoの開発にAIツールが直接関与したと述べています。同社によると、AIを使って実装案を探索し、設計と検証のサイクルを短縮し、モデルワークロードに対して反復検討を行うことで、初期設計からtapeoutまでを9か月で進めたとしています。また、AI支援の作業が算術回路の最適化や、チップのスケジュールへの追加計算性能の組み込みに役立ったとも述べています。

プログラミング面の取り組みも、カスタムハードウェアを支持するOpenAIの主張の一部です。同社によれば、CodexとGPT‑Astraを用いて、Jalapeñoの当初の生産計画には含まれていなかった3つのオープンウェイトモデルを、2か月で高性能化させました。

OpenAIは、GPT‑OSSの一部のattentionブロックとmixture-of-expertsブロック向けにAI生成された実装が、人間の専門家が書いた既存実装より1.5倍から1.8倍速く動作したと述べています。ただし同社はこの主張を、完全なモデルではなく選択されたブロックに限定しており、モデル全体の高速化と受け取るべきではありません。

新しいモデル系統をサポートするには、依然として新しいkernelとモデル固有の最適化が必要です。この点は、モデルアーキテクチャが変化する中でカスタムアクセラレータが適応できるかを評価する購入者やインフラチームにとって重要です。

JalapeñoがAIインフラに意味するもの

OpenAIにとって、直近の利点は運用上のレバレッジです。同じ電力・ハードウェア容量でより有用なモデル出力を得られれば、リクエスト提供コストを下げたり、同じペースでインフラを増やさずにより大きな需要を処理できたりします。低レイテンシ化は、より対話的なエージェントワークフローを実用的にする可能性もあります。

このチップは、市販ハードウェアベンダーからの撤退を意味するものではありません。OpenAIは、トレーニングと推論の両方でNVIDIAや他のパートナーのアクセラレータを今後も導入し続けると述べています。したがってJalapeñoは、外部シリコンの即時代替ではなく、混在型インフラ戦略の中の追加プラットフォームとして位置づけられているようです。

AI開発者や企業の購入者にとって、中心的な問いは、報告された改善が本番環境でも維持されるかどうかです。ベンチマーク性能は、ソフトウェアの成熟度、モデルのコンパイル、メモリ容量、ネットワークオーバーヘッド、利用パターン、新しいモデル系統を支える難しさなどにより、実運用性能と異なる場合があります。

OpenAIのフルスタック・アプローチは、自社ワークロードに対してこれらの変数をより厳密に制御できる可能性があります。同時に、それはトレードオフも生みます。カスタムハードウェアは、それが想定したモデルや提供パターンに対しては高い成果を出せる一方で、長期的な価値は、設計時に想定されていなかったモデルにソフトウェアスタックがどれだけ迅速に対応できるかに左右されます。

今後注目すべき点

最初のシグナルは導入です。OpenAIはJalapeñoを年内に計算インフラへ投入する予定だとしていますが、提示された証拠では、初期規模や、使用する製品、顧客ワークロードは明示されていません。

市場はまた、OpenAIのInferenceX結果を超える、独立または顧客が検証可能な測定にも注目すべきです。有用な詳細としては、本番利用時の持続性能、ソフトウェアオーバーヘッド、完了リクエストあたりのコスト、対応モデル範囲、そして公開されたパッケージ定格だけでなくシステム全体の電力を考慮した比較などが挙げられます。

OpenAIはGen 2がすでに開発中で、Gen 3も形になりつつあると述べています。これらの世代の進展や、新モデル向けkernel開発の速度は、Jalapeñoが長期的なプラットフォームになりつつあるのか、それとも主にOpenAI内部スタック向けの最適化なのかを示すでしょう。

Creati.aiの視点

Jalapeñoが重要なのは、OpenAIが推論能力を購入する段階から、自社モデルをどれだけ効率的に提供できるかを左右するハードウェア・ソフトウェア・スタックのより多くを形作る段階へ移行しているからです。報告されているスループットとレイテンシの組み合わせは、単一の最高速度指標よりも戦略的に有用であり、特にAIエージェントを中心に構築された製品ではその意味が大きくなります。

とはいえ、最も強い主張は依然としてベンダー報告であり、提示された証拠ではチップはまだ広範な本番導入で示されていません。次の試金石は運用面です。変化するモデルと実際の顧客需要にわたって、OpenAIがベンチマーク効率を信頼性が高く、柔軟で、費用対効果の高いサービスへと転換できるかどうかです。