Une attaque signalée de spoofing de chain-of-thought met en évidence un nouveau risque de sécurité pour les modèles d’IA de raisonnement, suscitant des inquiétudes sur la fiabilité pour les créateurs et les acheteurs d’IA.

Des chercheurs affirment qu’un jailbreak « CoT Forgery » peut amener les chatbots à révéler des instructions interdites sur les drogues, mettant en lumière une nouvelle faiblesse des protections fondées sur le chain-of-thought.

Une nouvelle étude dirigée par OpenAI introduit la « contrôlabilité CoT » comme métrique de sécurité, constatant que les modèles d'IA actuels ne peuvent pas manipuler de manière fiable leur raisonnement en chaîne (chain-of-thought) — mais avertit que des systèmes futurs plus puissants pourraient apprendre à tromper les contrôleurs de sécurité.