Alibabaは、2.4兆パラメータのMixture-of-ExpertsモデルであるQwen3.8-2.4T-A95Bのオープンウェイトを公開し、NVIDIAはこれを同社のラックスケールシステムGB300 NVL72全体で実行するための導入パスを公開した。この発表は、長文脈推論とエージェント型アプリケーション向けに設計されたハードウェアとソフトウェアのサービングスタックの中心に、非常に大規模なオープンウェイトモデルを据えている。

このモデルは、毎回のリクエストで全パラメータ数を使うのではなく、トークンごとに950億パラメータを有効化する。NVIDIAによれば、初期のFP8導入ではGB300 NVL72上でGPUあたり毎秒4,000トークン超、ユーザーあたり毎秒350トークン超を実現できるという。ただし、これらの数値はNVIDIA自身のインフラテストに基づくものであり、独立したベンチマークとして扱うべきではない。

長時間実行ワークフロー向けに構築された2.4Tモデル

NVIDIAの記事ではQwen3.8-Maxとも呼ばれるQwen3.8-2.4T-A95Bは、コーディング、大規模文書分析、複数ステップのエージェント型ワークロード向けに位置付けられている。NVIDIAによれば、Alibabaの公開によりモデルの重みはHugging FaceとModelScopeで利用可能になる。

このアーキテクチャは、きめ細かなMixture-of-Expertsルーティングと、交互に配置されたフルアテンション層と線形アテンション層を組み合わせている。学習されたルーターが各トークンに必要な専門家を選択するため、モデルのサービングコストは、全2.4Tパラメータ容量よりも、実際に有効化されたパラメータにより強く依存する。

このアテンション設計は、エージェント型システムにおける特有の問題に対処している。すなわち、文脈にはシステム指示、ツール結果、取得文書、ソースコード、ログ、途中推論が何度ものやり取りの中で蓄積されうる。NVIDIAによれば、このモデルは最大100万トークンのコンテキストウィンドウと最大128Kトークンの出力をサポートする。線形アテンション層は増え続けるキー・バリューキャッシュの代わりに制限付きの再帰状態を用い、フルアテンション層は必要に応じてより広いトークン間相互作用を維持する。

こうした能力は、長いワークフロー全体で状態を維持しなければならないエージェントを構築するプロダクトチームにとって重要だ。また、100万トークンのコンテキストは、ボトルネックを純粋なモデル計算からメモリ容量、通信、キャッシュ管理へと移しかねないため、実用的なインフラ上の課題も生じる。

GB300システムが重要な理由

NVIDIAのGB300 NVL72は、72基のBlackwell Ultra GPUを単一のラックスケール・プラットフォームに統合する。NVIDIAによれば、このシステムは72-GPUのNVLinkドメインと130 TB/sの全対全通信を提供する。この相互接続は、大規模MoEモデルにとって重要だ。通常のサーバーネットワークを介して専門家リクエストをルーティングすると、通信オーバーヘッドや利用率の偏りが発生しうるからだ。

したがって、Qwen3.8-2.4T-A95Bの提供は、モデルファイルを一連のアクセラレータに置くだけでは足りない。導入には、分散実行、最適化済みカーネル、そしてラック全体で専門家トラフィックを調整できる推論ランタイムが必要となる。NVIDIAのブログは、GB300構成を、既製のネットワーキングにのみ依存するのではなく、その調整をシステム設計の一部にする方法として示している。

NVIDIAは、報告されたDay 0の結果は追加のモデルチューニングなしでFP8により達成されたと述べている。同社はNVFP4精度によるさらなる向上を見込んでいるが、提供された発表には将来の性能数値は含まれていない。FP8やより低精度の実行はメモリと計算要件を削減できるが、実運用の購入者は、出力品質、数値安定性、そしてラックスケール全体導入の運用コストを依然として評価する必要がある。

設定可能な推論がサービングのトレードオフを変える

注目すべき製品機能は、Qwen3.8-2.4T-A95Bに組み込まれた推論制御だ。NVIDIAによれば、開発者はリクエストごとにlow、high、xhighの推論モードを選択できる。これらの制御は、アプリケーションが推論の深さと応答品質、レイテンシーをトレードオフできるようにすることを意図している。

これは、推論を固定されたグローバル設定として扱うよりも、運用上はるかに有用だ。曖昧なアーキテクチャ問題を扱うコーディングエージェントは高い設定を使い、一方で文書処理パイプラインはスループット最大化のために推論の深さを下げるかもしれない。エンタープライズシステムでは、この選択をタスクの優先度、ユーザー階層、アプリケーションのレイテンシー予算に結び付けることもできる。

ただし、これらの制御は評価の必要性をなくすものではない。チームは、高い推論設定が追加計算を正当化するほどタスク完了率を改善するか、低い設定でも反復的ワークロードで精度を維持できるかを測定する必要がある。この発表には、3つのモード間の品質差に関する独立分析は含まれていない。

証拠、ソフトウェアの選択、ベンダーの主張

この導入に関する主な証拠はNVIDIA Developer Blogの記事であり、性能数値、システム説明、サービングの推奨の出典はNVIDIAとなる。別のNVIDIA Developerの掲載も同じ発表を指しているが、独立した報道は加えていない。利用可能なソース資料には、第三者ベンチマーク、顧客導入、検証済みの本番採用は含まれていない。

NVIDIAは、サービング性能の制御を求める開発者向けのオープンソース推論オプションとしてSGLang、vLLM、NVIDIA Dynamoを挙げている。また、対応モデルを提供できるモデル不要の推論コンテナとして記事中で説明されるNVIDIA NIMも提供している。想定されるワークフローは、モデル重みをダウンロードし、コンテナ経由でデプロイし、必要に応じてサービスをスケールさせることだ。

カスタマイズにはNVIDIA NeMo AutoModelが推奨されている。PyTorchネイティブのファインチューニングライブラリは、Hugging Faceチェックポイントの直接利用、完全な教師ありファインチューニング、LoRAベースの適応をサポートすると同社は述べている。これにより、公開チェックポイントからドメイン固有版へ移行する道筋が得られるが、モデルサイズが大きいため、トレーニング、チェックポイント保存、評価はいずれも大規模なインフラプロジェクトのままだ。

「GPUあたり毎秒4Kトークン超」と「ユーザーあたり毎秒350トークン超」の数値は、特に慎重な解釈が必要だ。NVIDIAはこれらを自社のハードウェアおよびソフトウェアスタック上でのDay 0結果として示している。これは導入レシピの性能目標を示すものであり、他のサーバー、精度設定、バッチ構成、アプリケーションワークロードへそのまま当てはまる普遍的な結果ではない。

この導入がビルダーと購入者に意味するもの

AIビルダーにとって、この発表は、総容量が兆単位のパラメータで測られつつ、トークンごとの有効化はより低いままというモデルへと、オープンウェイト設計空間を広げるものだ。これにより、密な2.4Tモデルが毎トークン毎パラメータを実行する必要なく、特化した推論やエージェント的挙動を支援できる可能性がある。

しかし、ハードウェアの敷居は高い。72 GPUのラックスケール・プラットフォームは一般的な開発環境ではなく、チームはトークン毎秒の数値に加えて、利用率、スケジューリング、モデル複製、障害復旧、電力コストも考慮する必要がある。モデルは技術的にはオープンでも、発表された規模で運用するのは、資金力のある企業、クラウド事業者、高度なインフラにアクセスできる研究機関に集中する可能性が高い。

この導入はまた、モデルの開放性と運用上のアクセスしやすさとの間の分岐が拡大していることも示している。オープンウェイトは実験やファインチューニングを可能にするが、長文脈サービングや大規模MoE通信は依然として特殊なシステムに依存する。モデルを評価する購入者は、生の生成速度だけでなく、完了タスクあたりのエンドツーエンドコストを比較すべきだ。また、ツール利用、長文脈検索、複数ステップ実行での信頼性、異なる推論設定での挙動もテストすべきだ。

次に注目すべき点

最も明確な次のシグナルは、SGLang、vLLM、NVIDIA Dynamo全体でのQwen3.8-2.4T-A95Bの独立テストだろう。これには各推論レベルでのレイテンシー、スループット、メモリ使用量、品質が含まれる。他のオープンウェイトモデルとの比較により、このアーキテクチャがパラメータ数を超える実用的な利点を提供するかが明らかになる。

開発者はまた、約束されているNVFP4最適化、追加の導入レシピ、実運用ワークロードからの証拠にも注目すべきだ。モデル重み、ファインチューニング済みチェックポイント、長文脈エージェントアプリケーションの採用は、単なるダウンロード数よりも重要になる。最後に、GB300 NVL72システムのコストと入手可能性が、これが主としてラックスケール・インフラのショーケースにとどまるのか、それとも広く使えるサービングオプションになるのかを決める。

Creati.aiの視点

NVIDIAの発表が重要なのは、2.4Tパラメータモデルを広くアクセス可能にしたからというより、オープンウェイト、MoEルーティング、設定可能な推論、ラックスケール相互接続がどのように一体設計されつつあるかを示した点にある。導入は推論をシステム問題として扱い、通信とメモリをアクセラレータの演算と同じくらい重要なものとしている。

プロダクトチームにとっての実際の問いは、最大規模のモデルが速くトークンを生成できるかではない。重要なのは、その推論制御と長文脈アーキテクチャが、特定のワークフローを、特殊なインフラを正当化できるほど改善するかどうかだ。独立したベンチマークと本番証拠が現れるまでは、Qwen3.8-2.4T-A95Bは、ベンダー報告のサービング青写真を備えた有望なオープンモデルとして見るのが最適であり、エンタープライズ導入の実証済みデフォルトとみなすべきではない。