Circuit Breaker Labs、心理的安全性のリスクを検証するための仮想ユーザーを構築

Circuit Breaker Labsは、仮想ユーザーを使ってAIシステムを調査し、心理的に有害な応答を検出する安全性テストプラットフォームを開発している。対象は特に、子ども向け、コーチング、日記、メンタルヘルス支援のアプリケーションだ。初期段階のスタートアップである同社は、モデルが脆弱なユーザーを誤解する原因となり得るスラング、文化的背景、言語の違い、会話の逸脱を捉えるようテストを設計しているという。

兄妹のShirali NigamとArul Nigamが設立した同社は、TechCrunchの2026 Startup Battlefield 200のファイナリストの一社だ。同社の紹介は、チャットボットとの関係やAIを利用したメンタルヘルス上のやり取りをめぐる懸念が、仮説上の安全性議論から訴訟や製品への精査へと移行する中で発表された。

会話型AIへのクラッシュテスト方式

Circuit Breaker Labsは自社製品を、さまざまな年齢、背景、言語、コミュニケーションスタイルの人々を再現するよう作られた「クラッシュテスト用ダミー」の軍団、つまりAIエージェントだと説明している。シミュレーションは、孤立したプロンプトを送るだけでなく、対象モデルと複数の会話を行うことを目的としている。

この違いは、関係の進展に応じて記憶したり、異なる応答を返したりするシステムにとって重要だ。チャットボットは、単一の高リスクな質問には許容できる回答を出しても、以前のやり取りによって誤解を招く文脈や感情的依存、ユーザーの意図についての誤った解釈が生じた後には、異なる振る舞いをする可能性がある。

同社は人間の分野専門家と協力し、いわゆる超現実的なユーザーシミュレーションを作成している。そこには、タイプミス、隠語、ゲーマーのスラング、第二言語話者特有の表現など、従来の安全性評価では欠けている可能性のあるパターンが含まれる。Circuit Breaker Labsによれば、同社は毎日数万から数十万件のシミュレーションによるやり取りを実行し、その結果を監査可能かつ説明可能にすることを意図した独自スコアへ変換している。

同社が現在注力しているのは、AIコーチング、日記、メンタルヘルス支援アプリなど、高リスクの用途向けのAI安全性テストだ。最高技術責任者のArul NigamはTechCrunchに対し、このプラットフォームは将来的に、AIの同僚エージェントなど、より幅広い製品にも利用できる可能性があると語った。そうした製品でも、やり取りごとに応答が一貫しないことが安全上の問題を生む可能性がある。

スタートアップが対象とする安全性の問題

創業者らによると、動機となったのは、14歳のSewell Setzerの事件だった。SetzerはCharacter.AIのチャットボットに感情的な愛着を抱くようになり、その後自殺した。Setzerの両親は2024年の訴訟で、彼が自傷の考えを明かした後、チャットボットがそれを助長したと主張した。この主張は、Character.AIのシステム全般についての認定された結論ではない。

TechCrunchはまた、Character.AIが未成年ユーザーの家族から提起された複数の不法死亡訴訟で和解した一方、別の家族らがChatGPTとのやり取り、自殺、妄想との関連を主張してOpenAIを提訴したと報じている。これらの法的主張はCircuit Breaker Labsの製品開発とは別のものであり、特定のモデルがユーザーの死を引き起こした証拠とみなすべきではない。

Nigam兄妹の主張は、危険な失敗には必ずしも、ユーザーが意図的にシステムの制限を突破しようとする必要はないというものだ。モデルは、間接的な発言の意味を取り違えたり、スラングを誤解したり、以前のやり取りから誤解を招く文脈を引き継いだりする可能性がある。若年ユーザーや感情的な支援を求める人にとって、こうした失敗は、明らかに禁止された回答よりも発見しにくい場合がある。

確認されていることと、なお主張にとどまること

TechCrunchの報道で確認されている詳細は限られているが具体的だ。Circuit Breaker Labsには5人の従業員がおり、稼働する製品を持ち、AI安全性テストのラボとして運営されている。また、主要顧客を公表していない。Arul Nigamは顧客名を明らかにすることを拒否しており、入手可能な証拠には、独立検証可能な顧客リストや導入実績の数字は存在しない。

テスト量、仮想ユーザー集団の広さ、スコアリングシステムは、同社が自社プラットフォームについて説明した内容に基づく主張だ。情報源は、Circuit Breakerの評価が既存のレッドチームテスト、自動安全性分類器、人間によるレビューよりも現実世界の事案を正確に予測することを示す、独立したベンチマーク結果を提示していない。

この制約は購入者にとって重要だ。大量のシミュレーション会話は網羅性を高められるが、量だけでは、シミュレーションが子ども、多言語ユーザー、危機的状況にある人々、特定の文化的コミュニティを正確に反映しているとは証明できない。分野専門家の質、テストシナリオの設計、スコアリング手法の透明性が、結果の有用性を決めることになる。

開発者と企業の購入者が注目すべき理由

AIエージェントやメンタルヘルス支援ツールを開発するプロダクトチームにとって、このアプローチの当面の価値は、リリース前のテストと継続的な監視にある。チームはシミュレーション会話を使って、モデルが間接的な自傷の兆候を認識するか、曖昧さに対処できるか、感情的依存を助長しないか、ユーザーにリスクがあるように見える場合に適切にエスカレーションするかを調べられる。

このアプローチは、標準的なベンチマークスイートが見逃す失敗も明らかにできる可能性がある。正式な文章で書かれた英語のプロンプトは、断片的なメッセージ、地域のスラング、コードスイッチング、危険な意味が徐々に現れる会話よりも評価しやすい。こうした条件を含む安全性レポートは、子ども、国際的な顧客、ストレス下でコミュニケーションを取る人々が使う製品にとって、より有用だろう。

企業にとって未解決の問題は運用面にある。購入者は、Circuit Breakerのスコアをモデルのバージョン間で比較できるか、テストケースを社内のリスクチームが監査できるか、プロンプト、メモリシステム、エスカレーション方針を変更した後、どれほど迅速に評価を再実行できるかを知る必要がある。また、シミュレーションテストが人間によるレビュー、インシデント対応、実際のユーザーの保護を置き換えるのではなく、補完することの証拠も必要になる。

同社のより広い主張は、より良いテストが採用を単に制限するのではなく、支える可能性があるというものだ。Arul NigamはTechCrunchに、AIに対する懐疑は健全だが、安全上の懸念を理由に有用なアプリケーションを禁止するのは後退だと語った。この立場により、同社は競争の激しい、しかし重要性が増しているカテゴリーに位置づけられる。すなわち、ユーザー、規制当局、企業のリスクチームにとってAI導入をより正当化しやすくするためのインフラだ。

今後注目すべき点

近い将来の最も明確なシグナルは、10月13日から15日にサンフランシスコで開催されるTechCrunch DisruptでのCircuit Breaker Labsの発表だ。同社のデモによって、仮想ユーザーがどのように構築され、スコアリングがどう機能し、顧客のシステムで見つかった失敗例を示せるかが明らかになる可能性がある。

開発者は、顧客名の公表、独立した検証、既存の安全性プロセスが見逃す問題をプラットフォームが検出することを示す証拠にも注目すべきだ。そのほか重要なシグナルは、同社がメンタルヘルス関連の用途を超えて拡大するか、言語や文化をまたいだ結果を公表するか、機微なデータや未成年者が関わるテストケースをどう扱うかを説明するかどうかだ。

Creati.aiの見解

Circuit Breaker Labsは、会話型AIの評価における現実の弱点に取り組んでいる。システムはプロンプトに対してテストされることが多い一方、有害なやり取りは文脈、曖昧さ、繰り返しの利用を通じて発展する可能性がある。仮想ユーザーは、こうした失敗のパターンをリリース前に見つけやすくする可能性がある。

しかし同社の約束は、エージェント集団の規模よりも、人間の行動モデルの信頼性にかかっている。企業の購入者がその結果を、ベンダーが報告する別の評価ではなく、信頼できる安全性シグナルとして扱うには、独立したベンチマーク、透明なスコアリング、慎重な人間による監督が必要になる。