ドイツのコンソーシアムが、長文コンテキスト効率とドイツ語性能向上を狙うオープン30Bモデル Soofi S を公開

ドイツの研究コンソーシアムが Soofi S を公開した。これは300億パラメータのオープン言語モデルで、完全オープンな競合モデルの中で英語とドイツ語の総合ベンチマークをリードしながら、はるかに小さなシステム並みの推論コストで動作すると同コンソーシアムは主張している。今回の公開は単なるモデル追加にとどまらない。チームは、米国のハイパースケーラーAPIに依存せずに性能面で競争できる、欧州製でドイツ語重視の基盤モデルを作るべきだという明確な主張を行っているからだ。

しかも今回の公開には異例の但し書きが付く。The Decoder の報道と、そこで引用されたコンソーシアムの最新技術報告によると、科学ベンチマーク GPQA のテスト問題が、データセット分割のミスにより誤って学習データに入り込んでいたという。コミュニティが問題を特定した後、コンソーシアムは GPQA を評価から外し、比較対象の全モデルについて結果を再計算し、順位は変わらなかったと述べた。野心的なベンチマーク主張と、公開された汚染修正が組み合わさったことで、Soofi S は技術設計面でも透明性の観点でも注目される存在になっている。

Soofi S は何を変えようとしているのか

The Decoder によれば、Soofi S 30B-A3B は総パラメータ316億、ただしトークンあたりのアクティブパラメータは約32億の Mixture-of-Experts システムだという。コンソーシアムは Nvidia の Nemotron 3 Nano のハイブリッド設計を採用し、標準的な密な Transformer を全面的に使うのではなく、Mamba-2 レイヤーと従来の Attention レイヤーを組み合わせたとされる。

このアーキテクチャ選択はプロジェクトの核心だ。通常の Transformer モデルでは、長いプロンプトが Attention に使う KV キャッシュの負荷を増やし、コンテキスト長が伸びるほど、あるいは同時処理するリクエストが増えるほどスループットが低下しやすい。Soofi S の設計は、キャッシュを保持するのがレイヤーのごく一部だけで済むため、この影響を抑えると報じられている。The Decoder は、4,000 トークンから 256,000 トークンまでスループットがほぼ横ばいだったとし、40,000 トークンかつ 32 並列リクエスト時には、Soofi S が 14B〜24B 帯の密なモデルより GPU あたり毎秒トークン数で約8倍多く生成したと伝えている。

これらの数値はコンソーシアム資料による測定値であり、第三者による独立ベンチマークではない。とはいえ、実運用で再現されるなら、Soofi S は文書量の多いアプリケーション、長文コンテキストのコパイロット、レイテンシや GPU 利用効率が生のベンチマークスコアと同じくらい重要な企業システムを構築するチームにとって有力になる。

The Decoder によると、このモデルは Deutsche Telekom のインフラ、具体的にはミュンヘンにある Industrial AI Cloud で完全に学習された。これは別の意味で重要だ。欧州のソブリンAIプロジェクトは、信頼できる計算資源へのアクセスと技術的成果の両方を示すのに苦労してきた。Soofi S は、地域内で学習されオープンに公開されたモデルが、ローカルインフラを使いながら主要評価にも対抗できることの証拠として明確に位置づけられている。

英語を捨てずに、ドイツ語優先のデータ戦略

コンソーシアムの最大の戦略的賭けは、アーキテクチャそのものよりデータの配分にあるようだ。The Decoder は、ドイツ語が第1学習段階で 7.2%、第2段階で 15.3% を占めたと報じており、これは Nvidia の Nemotron 参照レシピで英語以外の言語全体が占める約5%と比べて大きい。

同報道によると、学習は約27兆トークンに及び、3段階で行われた。Web、コード、数学、各種ドメイン文書を広く対象にした第1段階、より高品質な素材を対象にした第2段階、そして最大100万トークンの文書を含む短めの長文コンテキスト段階だ。ドイツ語部分のソースには、HPLT、German Commons、FinePDFs、FineWiki、そして商用ライセンスのニュースアーカイブ Genios などが含まれる。また、機械翻訳されたドイツ語や合成ドイツ語テキストも使われた。

このデータ重み付けは、コンソーシアム自身の評価で効果を発揮したようだ。The Decoder によれば、Soofi S は OLMo 3 32B や Apertus 70B を含む16のオープン競合モデルとの比較で、英語とドイツ語の総合スコアで完全オープンモデル中トップだった。ドイツ固有の知識では、INCLUDE-DE で Qwen3.5 35B-A3B と同点だったという。プログラミングテストでは、HumanEval 73.8、MBPP 70.2、ドイツ語 MBPP 84.2 という報告値が、コンソーシアムのベンチマーク群でオープンソース競合を上回らせた。

欧州のAIチームにとって、これこそが本当の商業的な魅力だ。英語力を落とさずに、バイリンガルの業務フロー、コード生成、地域の事実・規制コンテキストを扱えるモデルは、国内タスクだけで優秀な狭い国家向けモデルよりも正当化しやすい。Soofi S が実運用で堅牢であれば、社内アシスタント、検索・要約ツール、コーディングアシスタント製品、ドイツ語話者の知識労働者向けの業界特化システムに魅力的だろう。

ベンチマーク問題は公開時の評価を変える

ベンチマークの話を慎重に受け止める最大の理由は、汚染問題が仮説ではなかったことだ。The Decoder は、GPQA と GPQA Diamond の言い換え済みテスト問題が、学習に使われた QA-base データセットに入り込み、英語版や機械翻訳されたドイツ語版も含まれていたと報じている。

同報道によれば、原因は Hugging Face 上のラベル付けの癖にあった。GPQA には別の training split がなく、テスト内容がデフォルトの「train」ラベルの下に置かれていたのだ。パイプラインが split 名で素材を選んでいたため、ベンチマークが学習コーパスに漏れ込んだ。後日の監査では同じパターンのベンチマークがさらに3つ見つかったとされる。TruthfulQA、BLiMP、Inverse Scaling だが、The Decoder によればこれらは Soofi S の評価には含まれていなかった。

The Decoder によると、コンソーシアムの対応は GPQA を評価から完全に外し、16モデルすべての比較順位を再計算することだった。さらに、split ラベルに頼るのではなく、学習データをベンチマーク問題と直接照合するようにしたという。The Decoder が引用したコンソーシアム参加者は、データを公開していたからこそコミュニティが検出できたのであり、オープンなアプローチが裏付けられたのだと主張した。

それは筋の通る見方だが、出来事そのものを消すわけではない。モデル購入者や開発者にとって、この件はより大きな教訓を強める。ベンチマークでの首位は役に立つが、データパイプラインと評価プロセスが外部の検証に耐えられる場合に限る。約152,000件の個別結果が利用可能だという報告や、パートナー Ellamind による保持された社内データでの別評価はコンソーシアムの主張を後押しするが、それでも外部の中立ラボではなくプロジェクト参加者に近い。

Soofi S の強みと弱み

The Decoder の記述を見る限り、Soofi S は万能な優位性ではなく、はっきりした強みのプロファイルを持つ。モデルは特に、英語・ドイツ語の総合テストやコードベンチマークで好成績を示し、長文コンテキストを効率的に処理できる点でも恩恵を受けているようだ。こうした特性は、一回限りの消費者向けチャットボットデモよりも、実務的な企業ワークロードに合っている。

ただし同報道は弱点も指摘する。ドイツ語の競技数学では、Soofi S は Minerva MATH-DE で 56 を記録し、Qwen3.5 35B-A3B と Gemma 3 27B の後塵を拝したという。また NaturalQuestions でも遅れを取り、著者らはこれを、トークンあたり約32億のアクティブパラメータしかないことによる事実記憶能力の低さと関連づけた。

RULER の長文コンテキストテストでも、目立つ失敗パターンがあった。The Decoder によると、長文から頻出単語を抜き出す課題では、32,000 トークンを超えると Soofi S のヒット率は約3%まで落ちた一方、比較対象の Nemotron モデルは 60〜64% を維持した。著者らはこの弱点を、長文ドキュメントは含むものの、抽出型の合成タスクが十分でない長文コンテキスト学習データのせいだと説明したという。

この違いはAI構築者にとって重要だ。「長文コンテキスト」は一つの能力ではない。モデルは長い入力を効率よく処理できても、その中での特定の検索や抽出の挙動には苦戦しうる。Soofi S を企業AI に使うことを検討する製品チームは、法務レビュー、カスタマーサポート要約、コーディングアシスタント、リサーチコパイロット、多言語知識検索など、自社のワークフローの形を正確にテストすべきだ。

証拠、主張、そして独立に確認されていること

この話に出てくる性能、効率、学習の詳細の多くは、コンソーシアムの技術資料についての The Decoder の報道に基づく。つまり、重要なベンチマークやスループットの主張は、独立再現されたものではなく、コンソーシアム報告のままである。

現時点の証拠で最も裏付けが強いのは、公開そのものの存在、Nvidia Nemotron を基にしたアーキテクチャ選択、Deutsche Telekom インフラの利用、ドイツ語を強く意識した学習ミックス、そして GPQA のテスト内容が学習データに漏れ、後に評価から削除されたというコンソーシアムの開示だ。

一方、OLMo 3 32B、Apertus 70B、Qwen3.5 35B-A3B に対する正確な優位幅や、実運用負荷下での実際の提供上の利点は、現在のソースからは確認しづらい。そうした主張が方向として正しい可能性はあるが、公開日のチャートよりも外部再現のほうが重要になるだろう。

ライセンスの時期にも注目が必要だ。The Decoder によると、instruct と reasoning の各バリアントはベータ段階にあり、今後数週間で寛容なライセンスの下で公開される見込みで、より大きな Soofi L もすでに学習中だという。これらの派生版が出て、開発者が直接試せるようになるまでは、このファミリーの商用価値はまだ一部しか見えていない。

今後の注目点

まず、独立した評価者が「Soofi S がドイツ語と英語で完全オープンモデルをリードしている」という見出しを再現できるかを注視したい。GPQA の問題が公になった今、HumanEval、MBPP、RULER、そしてドイツ語セットでの第三者テストは、より重みを持つ。

次に、静的なモデルカードよりもデプロイ時のベンチマークを見たい。Soofi S が本当に、密な競合よりも長文コンテキスト全体でスループットを維持できるなら、企業AIの予算や、限られたGPU容量で多数の同時ユーザーに提供したいチームにとって意味がある。

第三に、ドイツ語圏産業での採用シグナルを注視したい。Deutsche Telekom のインフラ上で学習され、ドイツ語向けに最適化されたモデルは、データ所在地、調達、ソブリンAI要件を持つ顧客に魅力的かもしれないが、そうした買い手は信頼性、安全性、サポートの証拠も求めるだろう。

最後に、Soofi L と今後の instruct モデルが同じ透明性基準を維持するかを見たい。コンソーシアムのオープン性の主張は、将来の公開でもデータセット、手法、公開後の修正が外部検証にさらされ続ける場合にのみ強くなる。

Creati.ai の視点

Soofi S が興味深いのは、欧州がまた一つオープンモデルを出したからではなく、より実用的なニッチ、つまりローカルインフラ上でのバイリンガル企業性能と長文コンテキスト効率を狙っているからだ。これは抽象的な主権性だけよりも、ずっと実用的な価値提案である。スループットの主張が再現で確認されれば、Soofi S は、通常は密な最先端モデルに伴う提供コストを払わずに大きなコンテキストを必要とする構築者にとって魅力的だろう。

もっとも、汚染の開示は脚注ではなく物語の一部だ。今日のモデル市場では、透明性そのものが競争力になりつつある。Soofi S は、誤りを公に修正したことで最終的に恩恵を受けるかもしれないが、それでも独立した検証は必要になる。創業者や企業チームにとって正しい結論は、「モデルを無視する」でも「ベンチマークを信じる」でもなく、「自社のワークロードでオープンウェイトを試す」ことだ。Soofi S が真剣な地域プラットフォーム候補になるか、あるいは印象的な技術報告のまま終わるかは、そこで決まる。