OpenAI、SWE-Bench Proの約30％が壊れている可能性があると指摘し、重要なコーディングベンチマークに疑義

OpenAIは、AI業界で最も注目されているコーディングベンチマークの一つに公然と異議を唱え、SWE-Bench Proの課題のかなりの部分に欠陥があり、モデル比較をゆがめる可能性があると主張しています。OpenAIが公表した新たな分析によると、同社の監査ではベンチマーク内の課題のおよそ30％が壊れている証拠が見つかったとしています。

この発見の重要性は、単一のデータセットにとどまりません。SWE-Bench Proのようなコーディングベンチマークは、エージェント型ソフトウェア開発の進展を評価するための簡便な指標となり、研究の優先順位、発表時のメッセージ、場合によっては企業がどのモデルをコーディング作業に最も適していると見るかにも影響を与えています。OpenAIの核心的な主張は、基盤となる課題が信頼できないのであれば、見出しを飾るスコアは、多くのモデル開発者や購入者が想定するほど実際のソフトウェア工学能力を表していないかもしれない、という点です。

なぜOpenAIは、業界が頼ってきたベンチマークに異議を唱えているのか

OpenAIによると、同社は以前にSWE-bench Verifiedに重大な設計上および汚染の問題があると結論づけた後、SWE-Bench Proの見直しを開始しました。当時OpenAIは、より長期的で現実的なコーディング課題を測るより強力なテストとして、コミュニティ全体にSWE-Bench Proへの移行を促していたと述べています。

この新しいベンチマークが影響力を持った理由の一つは、急速な進歩を示しているように見えたからです。OpenAIは、731課題の公開スプリットにおいて、フロンティアモデルの合格率が8か月で23.3％から80.3％に改善したと書いています。通常、このような跳躍は実用的なコーディング能力の大幅な向上を示唆します。

しかしOpenAIは今、その結果にはより慎重な見方が必要だと主張しています。最新の監査では、社内のデータポイント分析パイプラインが200課題、すなわちデータセットの27.4％を壊れていると判定しました。別の人手アノテーションの取り組みでは249課題、つまり34.1％が壊れていると特定されました。これらのレビューに基づき、OpenAIはSWE-Bench Proの課題のおよそ30％が欠陥を抱えていると見積もっています。

同社の立場は、すべての課題が使えない、あるいはシグナルがまったく残っていない、というものではありません。むしろ、ベンチマーク結果は慎重に解釈すべきだと警告しています。というのも、テストのかなりの部分が正しい挙動を罰したり、不完全な修正を報酬したりする可能性があるからです。

OpenAIが見つけたとする具体的な失敗モード

OpenAIの分析は、問題をいくつかのカテゴリに分けています。特に、隠しテストが人間の判断の代わりを務めるソフトウェア課題では、評価に携わったことのある人ならおなじみのものです。

一つ目は過度に厳しいテストです。OpenAIによれば、いくつかの課題は、プロンプトには書かれていない非常に具体的な実装上の細部を要求します。つまり、モデルが機能的には正しい解を出しても、不合格になることがあります。

二つ目は、仕様が不十分なプロンプトです。その場合、OpenAIは隠しテストが、課題説明から合理的に推測できない要件を強制していると述べています。これにより、モデルに求められていることと、採点対象との間にずれが生じます。

三つ目は、カバレッジの低いテストです。OpenAIによると、求められた機能が実際に実装されたかどうかを十分に確認していないテストがあり、そのため部分的または不完全な修正でも通ってしまうことがあります。AIコーディングシステムを評価する購入者にとって、これは過度に厳しいテストの逆の失敗モードです。ベンチマークが能力を過大評価する可能性があるということです。

OpenAIはまた、モデルを後のテスト期待と矛盾する挙動へ誘導する、誤解を招くプロンプトにも言及しました。同社が挙げた例には、Markdownの目次書式が含まれており、見えるプロンプトと隠しテストケースの差が先頭の空白1文字だったとしています。そのシナリオでは、書かれた通りにプロンプトへ従うモデルでも誤答と判定される可能性があります。

この例は、より広い批判の核心を突いています。多くのソフトウェアの問題やプルリクエストは、人間が協働するための実際のリポジトリに由来するものであり、きれいに切り分けられた評価課題ではありません。OpenAIは、そうした実物をベンチマークに変換すると、プロンプト、参照パッチ、テストが必ずしも十分に噛み合わず、信頼できる採点を支えられないと主張しています。

監査はどのように行われ、どこに不確実性が残るのか

この話で最も確かな事実は、OpenAI自身が公開した方法論に由来しますが、それでも独立した第三者によるベンチマークレビューではなく、ベンダー報告の結果です。

OpenAIは、課題の指示、モデルの試行、メタデータ、失敗トレースを調べて、問題がありそうなケースを特定する品質保証パイプラインを構築したと述べています。同社によると、最初の自動フィルタで286件の潜在的に壊れている課題が抽出され、さらに詳しいレビューに回されました。

そこからOpenAIは、二つの並行したレビュー経路を用いました。一つは、リポジトリと実行環境にアクセスできるCodexベースの調査エージェントで、ファイルの確認、テスト実行、モデル失敗の分析が可能でした。もう一つは、経験豊富なソフトウェアエンジニアによる人手アノテーションの取り組みでした。OpenAIによれば、このレビュー過程でフラグ付けされた各課題は5人のエンジニアが確認し、意見の相違は上位に送られました。

OpenAIの報告では、人間のレビュアーはエージェントパイプラインよりも課題を壊れていると判定する傾向が強かったとされています。また、フラグ付けされた課題におけるレビュアーの判断とエージェントパイプラインのカテゴリ一致率は74％であり、フラグ付けされた課題のいずれでも「壊れていない」が人間の最頻ラベルになることはなかったと述べています。

これらの詳細は、問題が孤立した例外に限られないという同社の主張を強めます。ただし、公開資料から結論づけられることには限界もあります。入手可能なソースには、SWE-Bench Proの保守者からの外部コメントも、修正版データセットで主要モデルを並べて再採点した結果も含まれていません。したがって、OpenAIはベンチマークにかなりのノイズがあるとする十分な論拠を示していますが、モデル順位への正確な影響は、提示された証拠だけではまだ不明です。

これがモデル開発者と企業購入者にとって重要な理由

AIラボにとっての直接的な含意は、コーディングベンチマークでの勝利は見た目ほど持続的ではないかもしれない、ということです。もし課題のおよそ3分の1に欠陥があるなら、ランキング差は、モデル能力の実際の違いではなく、プロンプトとテストの不整合、実装上の前提、あるいは弱いテストカバレッジを反映している可能性があります。

これは、ソフトウェア作業向けのAIエージェントを構築するチームにとって特に重要です。SWE-Bench Proは、長い時間軸でのコーディング挙動を測る有意義なテストとして位置づけられており、本番環境でエージェントシステムが行うことに近いとされてきました。もし課題に実質的な欠陥があるなら、開発者は単一の公開スコアではなく、リポジトリ固有のテスト、人手レビュー、回帰分析、実運用指標を含む、より広範な評価スタックを必要とします。

エンタープライズAIの購入者にとって、OpenAIの警告は、ベンチマークの合格率を本番投入の準備完了と同一視してはいけないという注意喚起です。SWE-Bench Proで優秀なモデルでも、実際のコードベースでは信頼性、曖昧さ、テストの完全性に苦しむ可能性があります。逆に、ベンチマーク上では弱く見えるモデルが、課題そのものの欠陥によって不利に扱われている可能性もあります。

これはガバナンスの問題でもあります。OpenAIは、自社のPreparedness Frameworkの下で、ベンチマーク品質を安全性と展開の意思決定に明確に結び付けました。論点は明快です。評価が能力を過大または過小評価すると、製品リリース判断とリスク評価の両方がゆがむ可能性があるからです。この点はOpenAIに限らず、コーディングベンチマークに限られません。モデルがますますエージェント的な挙動で評価されるようになる中、ベンチマークの管理不備は、学術的な問題にとどまらず戦略的な問題になっています。

同社がエージェント支援監査を重視している点も注目に値します。OpenAIは実質的に、テストされているのと同じ種類のシステムが、テスト自体のデバッグにも役立ちうると主張しています。この手法が標準になるかどうかは、外部研究者が、エージェントベースのレビューがモデル依存の別のバイアスを導入せずにデータセット品質を改善できると受け入れるかにかかっています。

証拠、主張、そしてベンダー報告であるもの

この話の中心的な主張はベンダー報告に基づくものです。OpenAIは、社内監査プロセスと独自に組織した人手レビューキャンペーンに基づき、SWE-Bench Proの課題のおよそ30％が壊れていると述べています。

OpenAIはまた、フロンティアモデルがベンチマークの731課題公開スプリットで8か月の間に23.3％から80.3％へ改善したと報告しています。この記事では、この数値はOpenAIが引用したベンチマークの傾向として読むべきであり、独立に検証された市場指標として扱うべきではありません。

方法論の詳細はより具体的です。OpenAIによると、自動フィルタは286件の課題を抽出し、データポイント分析パイプラインは200件を壊れていると判断し、人手アノテーションキャンペーンは249件を壊れていると判断しました。また、5人の経験豊富なエンジニアが各フラグ付き課題を確認し、レビュアー判断はフラグ付きケースの74％でエージェントパイプラインと重なったとしています。

現時点で未検証なのは、ベンチマーク保守者や他の研究機関が同じ課題をどう分類するか、修正された課題がモデル順位を大きく並べ替えるかどうか、そしてSWE-bench VerifiedやSWE-Bench Pro以外の近接するコーディングベンチマークにも同様のエラー率が見られるかどうかです。

次に注目すべきこと

最初に見るべきシグナルは、SWE-Bench Proの保守者が応答、改訂版データセット、あるいは正式な反論を公表するかどうかです。OpenAIの指摘のかなりの部分に同意するなら、ベンチマークは迅速に更新される可能性があります。結論に反対するなら、業界には独立した裁定プロセスが必要になるかもしれません。

次に注目すべきは、大手ラボがコーディング性能の報告方法を変えるかどうかです。今後のモデル発表でSWE-Bench Proの比重が下がり、非公開の評価セット、リポジトリ単位のテスト、課題完了研究がより重視されるようなら、公開コーディングランキングへの信頼が弱まっていることを示します。

第三に、OpenAIがCodexや関連する調査エージェントを使ったベンチマーク監査について、さらに多くのツールや方法論を公開するかを注視すべきです。再現可能な監査パイプラインは、コーディングデータセットだけでなく、AIエージェントの評価全般を業界がどう検証するかにも影響しうるからです。

最後に、より大きな問いは、ベンチマークのインフレが今や急速に進化するモデル分野で繰り返されるパターンなのかどうかです。OpenAIは以前にSWE-bench Verifiedを批判し、今はSWE-Bench Proに問題を提起しています。次世代のコーディング評価でも同様の問題が起これば、市場は単一スコアの順位表ではなく、公開ベンチマーク、顧客テレメトリ、現実のワークフローを制御したテストを組み合わせた複合的な証拠へ移行するかもしれません。

Creati.aiの視点

OpenAIの分析が重要なのは、単一のベンチマークを攻撃しているからではなく、AI測定の構造的問題を露呈しているからです。業界はコーディングモデルについて明快で比較可能な数値を求めていますが、ソフトウェア課題は厄介です。プロンプト、隠しテスト、参照パッチが実際のリポジトリから引き出されると、小さな不整合が静かに評価をノイズへ変えてしまいます。これは、モデル最適化に取り組む開発者にも、自信を持って購入したい企業にも問題です。

実践的な教訓は、SWE-Bench Pro、SWE-bench Verified、その他の公開ベンチマークの使用をやめることではありません。それらを最終判定ではなく、方向性を示す入力へと格下げすることです。AIエージェントを出荷するチームにとって、ベンチマークの読み解きは今や製品業務の一部です。スコアが実際に何を測っているのか、何を見逃しているのか、どれほど脆弱なのかを理解すること。コーディングで信頼を得るラボは、強い公開結果に加えて、透明性のある評価設計、実際のワークフローの証拠、そして自分たちの測定基準を監査する意思を備えたところでしょう。