AI News

OpenAIは、新しい社内安全システム「GPT-Red」について詳細を明らかにし、モデル展開における最も難しい作業の一つである「ユーザーより先に失敗を見つけること」を自動化する手段として位置づけた。OpenAIが公開した投稿によると、GPT-Redは脆弱性、特にプロンプトインジェクションの弱点を発見するよう訓練された自動レッドチーミングモデルであり、その後、新しいモデルを訓練中に強化するために使われている。

この発表が重要なのは、プロンプトインジェクションが、実運用のワークフローでAIエージェントやツール利用型モデルを展開する際の最も明確な障害の一つであり続けているからだ。モデルがブラウザ、アプリ、ファイル、外部ツールに接続されるほど有用になる一方で、メール、ウェブページ、コードリポジトリ、ソフトウェア出力に隠された敵対的な指示にもさらされやすくなる。OpenAIの主張は、人間だけのレッドチーミングではこうしたリスクに追いつけず、安全性の作業自体にも自動化が必要だというものだ。

OpenAIによれば、GPT-RedはすでにGPT-5.6の訓練に統合されており、その結果、同社がこれまでで最もプロンプトインジェクションに強いモデルと呼ぶものになったという。これらの性能主張はOpenAI自身のテストに基づくものであり、独立に再現されない限りベンダー報告として読むべきだ。それでも今回の発表は、フロンティアラボが敵対的テストを手作業のレビュー工程からスケーラブルな訓練ループへと変えようとしている様子を、これまでで最も明確に示すものの一つである。

OpenAIが述べるGPT-Redの役割

OpenAIはGPT-Redを、現時点で最高の自動安全レッドチーミングモデルだと説明している。固定的なベンチマークのように振る舞うのではなく、GPT-Redはより能動的な攻撃者のように動く。プロンプトを送り、対象モデルの応答を観察し、失敗条件に向けて反復する。OpenAIの説明では、これは従来の評価セットよりも人間のレッドチーマーに近い。

同社は、このシステムがセルフプレイ強化学習を用いて訓練されたと述べた。GPT-Redが攻撃し、守備側のモデル群がその攻撃に耐えつつ、意図されたタスクを完了しようとする。GPT-Redは、成功したプロンプトインジェクションのような有効な失敗を引き起こせたときに報酬を得る一方、守備側はタスクを維持し操作に抵抗することで報酬を得る。守備側が改善するほど、OpenAIによれば、GPT-Redはより強力で多様な攻撃戦略を見つけなければならない。

この構成が重要なのは、多くの公開ロバストネステストが、最先端モデルがそれらに過学習したり、単に飽和させてしまったりすると価値を失うからだ。OpenAIは、一般的に使われるロバストネス評価はすでに最新モデルで飽和していると明言した。GPT-Redはその問題への回答として提示されている。固定されたプロンプト群でテストするのではなく、OpenAIは新たな攻撃を継続的に生成しようとしている。

同社はまた、GPT-Redを、事後学習の中でも最大規模のいくつかと同等の計算資源規模で訓練したとも述べており、これを安全性向上のみに純粋に投じられた前例のない量のComputeと呼んだ。OpenAIは提供資料の中で具体的なCompute数値は示していないため、その規模感は方向性を示すものであり、この発表だけで独立に測定できるものではない。

なぜプロンプトインジェクションが焦点なのか

今回の発表がプロンプトインジェクションに焦点を当てるのは、ツールを使うAIシステムにとって最も実践的なセキュリティ問題の一つだからだ。OpenAIは、モデルがブラウザ、接続されたアプリ、ローカルファイル、その他のツールを通じて第三者データとますますやり取りしていると指摘した。こうした統合は実用性を生む一方で、攻撃者に新たな影響範囲も与える。

OpenAIの例では、悪意ある指示がウェブページ、メール、ツールの応答、リポジトリファイルに埋め込まれ、モデルを機密データの外部送信のような危険な挙動へ導く可能性がある。AIエージェントを構築する製品チームにとって、これは抽象的な問題ではない。LLMが外部システムを読み取り、行動を起こせるようになると、隠れた指示が開発者の意図したルールと競合しうる。

このことは、OpenAIがGPT-Redを評価だけでなくモデル訓練に直接結びつけている理由を説明している。同社は、GPT-5.6の敵対的訓練のためにプロンプトインジェクションを生成するのにGPT-Redを使ったと述べた。言い換えれば、このシステムは単に安全性レポート用の失敗を見つけるだけでなく、将来のモデルをより操作しにくくすることを目的とした訓練データを生成している。

OpenAIはまた、GPT-Redを実際にデプロイするモデルとは分離して保持しているとも述べた。意図的に訓練された悪意ある能力を広くアクセス可能なシステムに載せることを避けつつ、防御上の利点は本番モデルに引き継ぐ、というのがその理由だ。この分離は、より高性能な安全テストツールが広く公開されると二重用途の攻撃ツールになりうるのではないかと懸念するエンタープライズAIの利用者にとって注目に値する。

性能主張と検証済みの内容

今回の発表で最も強い性能主張は、OpenAI自身によるものだ。同社は、以前のモデルはGPT-Redのプロンプトインジェクション攻撃に非常に脆弱だったが、GPT-Redによる敵対的訓練の後、GPT-5.6 Solが過去最高に堅牢なモデルになったと述べた。

具体的には、OpenAIは、GPT-5.6 Solが最難関の直接的なプロンプトインジェクション・ベンチマークで、4か月前の同社最高の本番モデルと比べて失敗回数が6分の1になったと述べた。ベンチマークが安定しており代表的であるなら意味のある主張だが、提供された資料には、ベンチマーク設計、サンプルサイズ、結果が顧客ワークロードへどの程度転移するかを評価するのに十分な詳細がない。そのため、この数字は市場全体の標準というより、内部の進捗指標として理解するのが最適だ。

OpenAIはさらに、GPT-RedはGPT-5.5までを含む、テスト対象のほぼすべてのモデルを破ることができるとも報告した。これもベンダー報告の主張だ。OpenAI自身の安全パイプライン内でのGPT-Redの価値を示しているが、外部の観察者はまだ、その広さや再現性を独自に判断できるだけの詳細を持っていない。

より興味深い主張の一つは一般化に関するものだ。OpenAIは、Dziemian et al. (2025) が記述した間接的プロンプトインジェクションのアリーナを再現した版でGPT-Redをテストし、GPT-Redの訓練シナリオとは異なる環境と目標を用いたと述べた。その評価では、GPT-Redは84%のシナリオで成功した攻撃を見つけたのに対し、GPT-5.1を攻撃する人間のレッドチーマーは13%だったという。これが正確なら、自動化された敵対的探索はすでに一部の限定環境では手動テストを上回る可能性を示唆する。ただし、この実験はソース資料内で外部評価者ではなくOpenAIによって記述されているため、依然としてベンダー報告ベンチマークのカテゴリーに入る。

証拠、限界、そしてまだ不明な点

この話の中心的な事実はOpenAIの公式発表に基づいている。あわせて、同じ動きを指すGoogle Newsのワイヤー風記事もあったが、本質的な追加報道はなかった。つまり、ここで最も重要な主張――Compute規模、攻撃成功率、ベンチマーク改善、一般化――は、主としてOpenAIに由来する。

この発表が明確に示しているのはプロセスだ。OpenAIは社内の自動レッドチーミングシステムを構築し、セルフプレイで訓練し、プロンプトインジェクションに強く焦点を当て、GPT-5.6を敵対的に訓練するために使用した。一方、利用可能な証拠からは外的妥当性がまだ見えにくい。

提供資料の中でOpenAIは、最難関ベンチマークの詳細な手法、正確な脅威モデルの分布、コスト面のトレードオフ、GPT-Redを大規模に運用する際のオーバーヘッドを示していない。また、完全に独立したレッドチーム組織や長期的な本番エージェントのワークフローで、性能がどう維持されるかも示していない。ただし同社は、GPT-Redを人間や第三者によるレッドチーミング、多層防御、リアルタイム監視と並行して使い続けると述べている。これは、OpenAIがGPT-Redをより広範な安全対策の完全な代替とは見なしていないことを示す有用な注意書きだ。

ビルダーとエンタープライズAIチームにとっての意味

AI開発者にとって実務上の要点は、安全性が静的評価から継続的な敵対的訓練へ移行していることだ。AIエージェント、コード支援製品、ワークフロー自動化システムを提供するチームは、たとえ小規模でも、GPT-Redに相当する社内システムを必要とするかもしれない。モデルがテストを学習してしまえば、固定された安全性ベンチマークの有用性は低下する。動的な攻撃生成が標準スタックの一部になる可能性がある。

エンタープライズAIの購入者にとって、この発表は次に何を質問すべきかを示している。もはや、モデル提供者に安全方針があるかどうかを尋ねるだけでは不十分だ。購入者は、ツール利用環境でプロンプトインジェクションをどうテストしているのか、そうしたテストに第三者コンテンツからの間接攻撃が含まれるのか、敵対的な知見がどのように訓練へフィードバックされるのか、そして導入後にどのようなランタイム監視が残るのかを尋ねるべきだ。

この発表はエンタープライズAIにおける競争上の論点も鮮明にする。モデルベンダーは、システムがブラウジングし、文書を読み、ツールを起動し、企業データに基づいて行動できる環境での採用をますます求めている。そうなると、プロンプトインジェクション耐性は学術的に面白いだけでなく、商業的にも重要になる。OpenAIが、GPT-5.6とGPT-5.6 Solが現実的なツール環境で実質的に操作しにくいことを示せれば、機微なワークフロー向けにフロンティアモデルを比較する購入者にとって重要になる可能性がある。

同時に、OpenAIのアプローチはコストの問題も提起する。大規模な事後学習Computeで社内攻撃モデルを訓練するのはフロンティアラボには現実的だが、小規模なモデル提供者やアプリケーション系スタートアップにははるかに難しい。その結果、プラットフォーム提供者と、その上に構築するエコシステムとの間で、安全インフラの格差が広がる可能性がある。

今後注目すべき点

次に注目すべきシグナルは、独立した検証だ。外部研究者、第三者のレッドチーム企業、あるいは顧客が、GPT-5.6が実運用のエージェントワークフローでプロンプトインジェクションに対して実質的により強い耐性を示していると報告し始めれば、この発表の重みは増す。

もう一つの重要なシグナルは、OpenAIがGPT-Redについて、評価設計、プロンプトインジェクション以外への転移性能、コスト効率など、より詳細な方法論を公開するかどうかだ。セルフプレイ強化学習の採用は、他の安全性カテゴリにも拡張できる再利用可能なパターンを示唆しているが、ここでの証拠だけではまだ証明されていない。

また、GPT-Red自体は社内限定のままでも、OpenAIがこの取り組みの一部をエンタープライズ向け制御、評価ツール、APIを通じて間接的に製品化するかどうかも注目に値する。OpenAI上で構築する開発者が、より優れたテストハーネスや、より明確なプロンプトインジェクション診断にアクセスできるようになれば、GPT-Redの影響はOpenAI自身のモデル訓練を超えて広がるだろう。

最後に、より大きな問題は、他のラボが同じ道をたどるかどうかだ。自動レッドチーミングがフロンティアモデル開発の通常の一部になれば、GPT-Redのようなシステム同士の比較は、基盤モデル同士の比較と同じくらい重要になるかもしれない。

Creati.aiの視点

OpenAIの発表は、単一の安全機能というより、開発哲学の変化についてのものだ。同社は、モデルがツールや外部データをまたいで動作するようになると、アラインメントと堅牢性は手作業のテストや定期的な人間のレビューだけに頼ることはできないと主張している。GPT-Redは、失敗発見を工業化しようとする試みを示している。

だからといって問題が解決したわけではない。GPT-5.6とGPT-5.6 Solをめぐる見出し級の成果はOpenAI自身のものであり、プロンプトインジェクションは依然として動く標的だ。それでも、エンタープライズAI、コード支援製品、AIエージェントを構築するチームにとって、戦略的な教訓は明確だ。堅牢なシステムは、静的な基準でチェックされるだけでなく、今後ますます能動的な攻撃者を相手に訓練されるようになる。この意味で、GPT-Redは単なるOpenAI内部プロジェクトというより、モデル安全工学がどこへ向かっているかを示すサインとして最も重要なのかもしれない。

フィーチャー

OpenAIがGPT-Redを発表、GPT-5.6のプロンプトインジェクション耐性を高めたとする社内レッドチーミングシステム

OpenAIは、プロンプトインジェクション対策を強化し、モデル能力の向上に合わせて安全性をスケールさせる助けになる可能性がある自動レッドチーミングシステムGPT-Redを導入したと発表した。