Jailbreaks

研究者によると、「CoT Forgery」ジェイルブレイクは、チャットボットに禁止された薬物の手順を明かさせることができ、chain-of-thoughtベースの安全性に新たな弱点を露呈している。

ホワイトハウスはAnthropicに対し、同社のAIモデルへのあらゆる脱獄を防ぐよう圧力をかけているが、セキュリティ専門家はその要求は技術的に実現困難だと述べている。