研究者が、偽の推論コンテキストでチャットボットを安全規則の先へ押し出せる「CoT Forgery」ジェイルブレイクを報告
研究者によると、「CoT Forgery」ジェイルブレイクは、チャットボットに禁止された薬物の手順を明かさせることができ、chain-of-thoughtベースの安全性に新たな弱点を露呈している。
研究者によると、「CoT Forgery」ジェイルブレイクは、チャットボットに禁止された薬物の手順を明かさせることができ、chain-of-thoughtベースの安全性に新たな弱点を露呈している。
ホワイトハウスはAnthropicに対し、同社のAIモデルへのあらゆる脱獄を防ぐよう圧力をかけているが、セキュリティ専門家はその要求は技術的に実現困難だと述べている。
Jailbreaksに関する最新ニュースと分析