NVIDIAは、300億パラメータのMixture-of-ExpertsモデルであるNemotron 3.5 Lightningと、複数のAIモデル間でリクエストを振り分けるオープンソースライブラリNeMo Switchyardを発表した。同社によれば、これらのリリースは、精度、応答時間、運用コスト、導入制御のバランスを取る必要がある常時稼働のエージェント型システム向けに設計されている。

今回の発表は、NVIDIAがオープンモデルをどのように位置づけているかの変化を反映している。Lightningをあらゆるフロンティアモデルの単独代替として示すのではなく、同社はこれを大規模システム内で大量処理タスクを担える専門モデルとして説明している。Switchyardは、エージェントのワークフローの各ステップをどのモデルが処理するかを決めることを意図しており、より高価なモデルに送られるリクエスト数を減らせる可能性がある。

マルチエージェントシステム向けの専門モデル

Nemotron 3.5 Lightningは、コードレビュー、ツール利用、セキュリティアラート監視、請求サポートなどの対象ワークロード向けに位置づけられている。NVIDIAは、大規模な推論モデルが操作の計画や調整を行い、小規模な専門モデルが個々のタスクを実行できると述べている。このアーキテクチャは、たまに来るチャットのプロンプトに応答するのではなく、継続的に動作するエージェントを構築する開発者にとってますます重要になっている。

NVIDIAによると、このモデルはオープンでカスタマイズ可能だ。組織はNVIDIA NeMoを使い、自社のドメインデータ、ツール、ワークフローでポストトレーニングできる。NVIDIAはまた、コードエージェント機能向けにモデルのポストトレーニングで使用された強化学習データセットNemotron-RL-Agentic-Terminal-Pivotも公開した。

同社は、Lightningが最大4倍高速な出力を実現し、同クラスの他モデルより30%速くエージェント型タスクを完了できると述べている。これらはNVIDIAが報告する性能主張であり、提示された証拠に基づく独立検証済みの結果ではない。比較対象やテスト条件は公開された発表では詳述されていないため、購入者は自分たちのプロンプト、ツール、ハードウェアで利点を検証する必要がある。

NVIDIAによれば、このモデルはNVIDIA RTX PC、DGX Spark、DGX Station、Jetsonシステム、RTX PROワークステーション、データセンター、クラウド環境で動作可能だ。この幅広さは、機密データを扱うチームや、すべてのリクエストをホスト型APIに送るのではなく既存インフラを活用したいチームにとって重要である。

Switchyardはモデル選択をインフラ化する

NeMo Switchyardは、エージェント開発における実際的な問題に対処する。異なるタスクにはしばしば異なるモデルが必要だが、その判断を手動で管理するのは大きな統合作業になり得る。NVIDIAのライブラリは、開発者がアプリケーションを書き直さなくても、組織内のオープン、プロプライエタリ、NVIDIAモデルの組み合わせを横断してリクエストをルーティングできる。

ルーターは、品質、遅延、コストなどの優先事項に合わせて調整できる。計画にはフロンティアモデルを使い、日常的な実行には小型モデルを使うシステムでは、このアプローチによってモデル選択を固定的なアーキテクチャ判断ではなくアプリケーションの実行時の一部にできる可能性がある。

NVIDIAの説明は、AIインフラのより広範な変化も示している。エージェントが1つのワークフロー中に複数回の呼び出しを行うようになると、トークン使用量と遅延は急速に積み上がる。難しいリクエストだけを高価なモデルに送るルーティング層は、単一モデルのベンチマークスコアをわずかに改善することよりも価値があるかもしれない。特に顧客サポート、コーディング、セキュリティ、バックオフィス自動化ではそうだ。

Switchyardはオープンソースライブラリとして提供される。NVIDIAは、Kong AI Gateway、LiteLLM、Nous ResearchのHermesを含む既存の開発者ツールやプラットフォームにルーティングを統合するため、エコシステム企業と協力しているという。LangChainも統合パートナーとして挙げられており、CognitionはNVIDIA内部利用向けにDevin Desktopで段階的ルーターをテストした。

性能エビデンスが示すもの、示さないもの

NVIDIAは、社内ベンチマークでフロンティア級の精度を維持しつつ、タスク完了コストをOpus 4.8単独利用のほぼ3分の1まで削減できたと報告している。ベンチマークは社内管理のものなので、この主張は一般的な保証ではなく方向性の指標として扱うべきだ。結果は、モデル群、ルーティング方針、ワークロードの混合、そして組織がどれだけの品質低下を許容するかによって変わる。

パートナー事例は、依然としてベンダー提供ではあるが、追加のシグナルを示している。NVIDIAによれば、Boomiは5つのルーティング機能で100%のドメインルーティング精度を達成し、トラフィックの59%を5倍高速なファインチューニング済みモデルに送り、後続ターンの遅延を21%削減した。Classmethodは品質を維持しつつ初期コストを27%削減したと報告し、Cognitionはすべてのリクエストを単一のフロンティアモデルに送る場合と比べて平均コストを28%削減したと報告している。

他の引用結果はさまざまだ。NVIDIAによれば、Cadenceは形式検証のユースケースで効率を9.9%改善した。LangChainは、145件のDeep Agentsマルチターンタスクで呼び出しの7%をフロンティアモデルに送ることで、コストを74%削減し、精度は6%低下したと報告した。これらの数字はルーティングの中心的なトレードオフを示している。節約は大きいかもしれないが、低コスト化は精度、遅延、ワークフロー挙動の変化を伴う場合がある。

NVIDIAはまた、Nemotron 3.5 Lightningをカスタマイズしている組織として、CrowdStrike、Harvey with Trajectory、CodeRabbit with Baseten、Lila Sciences、Fastino Labsを挙げている。ただし発表には、独立した顧客評価、運用規模、契約詳細、導入指標は含まれていない。したがって、速度、コスト、顧客性能に関する最も強い主張は、NVIDIAと同社が挙げたパートナーに帰属するままだ。

AIビルダーと企業にとってなぜ重要か

ビルダーにとって、カスタマイズ可能なモデルとルーティング層の組み合わせは、単一ベンダーへの依存を減らせる可能性がある。チームは、機密性の高い、あるいは反復的なタスクをローカル展開モデルに割り当てつつ、難しいケースではプロプライエタリなシステムへのアクセスを維持できる。これにより、プライバシー要件を支え、継続的な推論コストを下げ、エンジニアリングチームにモデル更新のより大きな制御を与えられる。

一方で、運用の複雑さというトレードオフがある。ルーターは平均精度だけでなく、障害処理、ツール呼び出しの信頼性、コンテキスト保持、マルチターンタスクでの挙動でも評価される必要がある。見かけ上わずかな精度低下でも、エージェントがワークフロー内で何十回も意思決定を行う場合には重大になり得る。組織は、なぜ特定のモデルにリクエストが振り分けられたのか、そしてその判断が結果を改善したのかを説明する可観測性も必要になる。

企業購入者にとって、Switchyardの価値は相互運用性とガバナンスに左右される。異なるベンダーのモデル間でルーティングすることでロックインを減らせるが、同時に保護、監視、監査すべきコンポーネントが増える。ライセンスが許す範囲でトレーニングデータや技法を公開するというNVIDIAの姿勢は、研究者やガバナンスチームがモデルを調べる助けになるかもしれないが、開示だけで本番の信頼性が証明されるわけではない。

このリリースは、AIアプリケーションスタックをめぐる競争もさらに際立たせる。モデル提供者は今や、生の能力だけでなく、推論の周辺にあるコントロールプレーン、つまりルーティング、ファインチューニング、導入場所、コスト管理でも競争している。NVIDIAは、自社のハードウェアエコシステムとNeMoソフトウェアを使って、ローカルPCからクラウドインフラまでこれらの層をつないでいる。

今後注目すべき点

最初のシグナルは、コーディング、セキュリティ、企業向けツール利用のワークロードでNemotron 3.5 Lightningを独立検証することだ。類似サイズのオープンモデルとの比較も含めてほしい。公開評価では、NVIDIAの速度主張が異なるハードウェアや長文コンテキストのエージェントタスクでも維持されるかが明らかになるはずだ。

開発者はまた、NeMo Switchyardがどれほど幅広く本番フレームワークに登場するかにも注目すべきだ。特にLiteLLMやKongのような統合が、既存アプリケーションのセットアップコストを下げるかどうかが重要だ。ルーティングの失敗、精度のトレードオフ、監視機能に関する証拠は、見出しの節約額そのものより有用だろう。

最後に、企業導入は導入経済に左右される。重要な問いは、ローカルおよびオンプレミス実行がホスト型の代替手段に匹敵できるか、ドメイン精度のためにどれだけのポストトレーニングが必要か、そしてインフラ、評価、ガバナンスのコストを含めた後でもモデルルーティングが確実な節約を生むかどうかだ。

Creati.ai の視点

NVIDIAの発表で最も重要なのは、インフラへの賭けとしての側面だ。エージェント型アプリケーションは、万能モデル1つではなく、連携するモデル専門家の集合として構築される可能性がある。Nemotron 3.5 Lightningはカスタマイズ可能な専門モデルを提供し、NeMo Switchyardはそれをいつ使うかという実行時の判断を担う。

この機会は十分に説得力があるが、証拠の大半はNVIDIAの報告によるものだ。開発者にとっての実際の試金石は、ルーティングが単独のベンチマーク費用を下げるかどうかではない。デプロイ、プライバシー、モデル運用を管理しやすくしながら、エンドツーエンドのタスク信頼性を維持できるかどうかである。