Un ataque de spoofing de chain-of-thought reportado pone de relieve un nuevo riesgo de seguridad para los modelos de IA de razonamiento, lo que genera preocupaciones sobre la fiabilidad para los desarrolladores y compradores de IA.

Los investigadores afirman que un jailbreak de 'CoT Forgery' puede hacer que los chatbots revelen instrucciones prohibidas sobre drogas, exponiendo una nueva debilidad en la seguridad basada en chain-of-thought.

Un nuevo estudio liderado por OpenAI introduce la 'controlabilidad CoT' como una métrica de seguridad, encontrando que los modelos actuales de IA no pueden manipular de forma fiable su razonamiento en cadena (chain-of-thought), pero advierte que sistemas futuros más potentes podrían aprender a engañar a los monitores de seguridad.