TencentのAI責任者、バイオ兵器の到来を警告　モデルへのアクセスでは中間案を支持

Tencentの最高AI科学者であるVinces Yao Shunyuは、AIシステムが近くバイオ兵器の開発を支援する可能性があると警告した。一方で、完全にオープンなモデルも完全にクローズドなモデルも、このリスクへの完全な答えにはならないと論じている。

The DecoderがSouth China Morning Postの報道した発言をもとに伝えたYaoの立場は、高度なAIに開発者や一般市民がどの程度アクセスできるべきかをめぐる対立の中心にTencentを置く。Yaoは、防御目的ではオープンモデルを維持しつつ、生物攻撃やサイバー攻撃を可能にし得る能力にはより強い管理を適用する中間案を支持している。

この議論は、Tencentが予定しているHy4のリリースに直接関係する。同社は安全性報告書付きのオープンウェイトモデルとしてHy4を公開する予定で、危険なハッキング知識を学習データから除去し、生物学的能力は高リスクのしきい値を下回るとしている。これらの主張は、出典資料では独立に確認されていない。

Yaoが単純な「オープン対クローズド」の答えを退ける理由

以前OpenAIで働いていたYaoは、両方のアクセスモデルに利点があるとみていると報じられている。クローズドシステムは中央集権的な安全策を適用し、高度な能力を審査済みユーザーに限定できる。一方、オープンシステムは、防御側が単一の提供者の方針や可用性に依存せず、モデルを調査・改変・実行できるようにする。

Yaoは、このトレードオフの例としてHugging Faceのセキュリティインシデントを挙げた。報道によると、AnthropicのClaudeを含むホスト型の米国モデルは安全フィルターのため攻撃コマンドの分析を拒否した一方、オープンな中国モデルGLM-5.2はフォレンジック調査中のログ解析を支援するために使われた。

Hugging Faceの報告が裏付けるのは、GLM-5.2が調査中に使われたという限定的な事実だけであり、モデルが攻撃を止めたことを示すものではない。Hugging Faceは、セキュリティチームが悪用された脆弱性を修正し、影響を受けたサーバーを再構築し、認証情報を更新した後、インシデントは封じ込められたと述べた。同社は、この出来事をホスト型モデルの安全フィルターに反対する論拠とみなすべきではないとも強調した。

Yaoの生物学的リスクへの警告がより重大なのは、生物学では防御能力と攻撃能力を分離することが難しいためだ。研究者が病原体を理解したり実験を設計したりするのを助けるモデルは、危害を加えようとする人物への障壁も下げる可能性がある。The Decoderによれば、Yaoは中国と米国の先端モデル間の差が比較的小さいため、単一の国の市場ではなく業界全体で慎重さが必要だと考えている。

証拠は双方の弱点を示している

オープンモデルの拒否だけに依存することへの反論は、ユーザーがウェイトにアクセスできる場合に、モデルから学習済みの拒否動作を取り除くabliterationという技術に表れている。The Decoderは、改変された亜種が数千種類Hugging Faceで利用でき、Abliteration.aiはGLM-5.3のフィルターなし版へのアクセスを提供していると報じた。

報告書が引用した研究は、現在の防御策によって改変は難しくなるものの、確実には防げないことを示している。これはホスト型モデルと公開済みモデルの根本的な違いを生む。提供者はサービスを更新または停止できるが、公開されたウェイトは拡散後に回収できない。

クローズドモデルには別の失敗形態がある。Anthropicなど米国企業は、Project GlasswingやDaybreakなどのプログラムを通じ、一部の高度なサイバー能力を審査済みパートナーに制限している。Anthropicは、疑わしいサイバー関連・生物関連のプロンプトを能力の低いモデルに送るルーティング制御も使った。Artificial Analysisは当初、8〜9％のタスクが影響を受けたと推定したが、ユーザーからは誤検知が報告され、MRI分析までバイオテロと関係する可能性があるとして検知された。Anthropicはフィルターが過度に厳しかったと認めた。

これらの例は、オープンシステムかクローズドシステムのどちらかが一律に安全だと証明するものではない。オープンモデルはウェイトの改変で安全策を失う可能性があり、クローズドシステムは正当な作業を妨げたり、速度が重要なときに防御側がモデルを使えなくしたりすることを示している。証拠は別々の報告や提供者・第三者の分析に基づくため、モデル安全性の管理された比較と読むべきではない。

TencentのHy4戦略は管理を学習段階へ移す

TencentがHy4で予定している方法は、学習後に追加した拒否動作だけに頼るのではなく、危険なハッキング知識を学習データから除去することだ。The Decoderが引用した研究者は、モデルが拒否層を削除すれば解除できる能力を単に含んでいるわけではないため、この介入はabliterationにより強いと述べている。

Tencentは、Hy4の生物学的能力は高リスクのしきい値を下回るとしている。これは同社の評価であり、利用可能な証拠で独立に検証されたベンチマークではない。予定されている安全性報告書は、Tencentがしきい値をどう定義し、どの評価を使い、除去した知識の再構築を試みる攻撃に対してモデルを検証したかを詳しく示す可能性がある。

中国の標準化機関TC260も、オープンモデルの安全策は回避または除去され得ると警告し、オープンソースAIの安全基準を策定している。しかし政策面では、中国も米国も、特に高性能なオープンモデルの公開を阻止する拘束力のある公開しきい値を定めていない。中国の輸出管理枠組み案は一部の大規模モデルを対象とする一方、すでに公開されたオープンモデルは除外すると報じられている。

開発者にとっての主要な技術的問題は、データフィルタリングを監査しにくい別の主張ではなく、持続的な安全層にできるかどうかだ。学習データの除去は危険情報への直接アクセスを減らせるが、モデル評価では記憶、再構築、ツール利用、そして新たなリスクを生む可能性のある無害な能力の組み合わせを検証する必要がある。

AI開発者と企業の購入者への影響

この対立は、ホスト型モデルと自社運用モデルのどちらを選ぶかというチームのリスク計算を変える。Claudeのようなホスト型システムは、ポリシー更新、監視、集中型アクセス制御を提供できるが、安全策がセキュリティ業務、科学分析、その他の正当なワークフローを妨げる可能性がある。オープンウェイトモデルはより大きな制御とオフライン展開を可能にするが、テスト、アクセス管理、ログ記録、パッチ適用、悪用防止の責任は購入者が負う。

企業にとって、重要な選択は単一モデルではないかもしれない。機密性の高いワークフローでは、高リスク行動用の制限モデル、分析用のより寛容なモデル、そしてツールがインフラを変更したり生物材料と接触したりする前の人間による承認を組み合わせた多層システムを使える。この方法なら、拒否メッセージだけで十分な安全機構だと決めつけずに運用上の有用性を保てる。

モデル開発者にとってHy4は、学習時の管理が現実世界での改変や敵対的評価に耐えられるかを試すものになる。研究者にとっては、Tencentの生物学的リスク評価が標準化テストに基づくのか、社内手法に基づくのかを明らかにする可能性もある。政策立案者にとっては、公開後のウェイトを規制する難しさを改めて示す出来事だ。

次に注目すべき点

最初のシグナルは、TencentによるHy4のリリースと安全性報告書だ。学習データのフィルタリング手順、生物・サイバー評価、モデルウェイトへのアクセス、外部研究者が同社の結論を再現できるかどうかに注目したい。

2つ目のシグナルは、独立ユーザーがモデルの制限をどれだけ効果的に回避・再構築できるかだ。abliterationを試みてもHy4から除去されたハッキング能力が利用できないままなら、Tencentの手法は信頼性を増す。ファインチューニング、プロンプト、ツール統合で能力を復元できるなら、学習データフィルタリングの限界がより明確になる。

市場は、報告された誤検知を受けてAnthropicがルーティング方針を変更するか、中国または米国が高性能オープンウェイトモデルに強制力のある規則を作るかも追うべきだ。これらの決定が、展開コストと、安全作業がモデル提供者から顧客へ移る量を左右する。

Creati.aiの見解

Yaoの警告が重要なのは、オープン対クローズドの議論を決着させるからというより、アクセス方針を主要な安全管理とみなすことの弱さを示すからだ。クローズドモデルは防御には制限が強すぎる場合があり、オープンモデルはウェイトが公開されると安全策を失う可能性がある。どちらの道でも、能力テスト、運用管理、独立した精査は必要だ。

TencentのHy4リリースは、学習時のリスク低減を試す有用な実験になる可能性がある。しかし、その意義はオープンウェイトモデルというラベルではなく、証拠によって決まる。AI開発者と企業の購入者にとっての実務的な教訓は、危険なプロンプトを拒否するかだけでなく、モデルの知識、ツール権限、監視、ロールバックの選択肢を含む展開チェーン全体を評価することだ。