Um ataque relatado de falsificação da cadeia de pensamento destaca um novo risco de segurança para modelos de IA de raciocínio, levantando preocupações de confiabilidade para construtores e compradores de IA.

Pesquisadores dizem que um jailbreak “CoT Forgery” pode fazer chatbots revelar instruções proibidas sobre drogas, expondo uma nova fraqueza na segurança baseada em chain-of-thought.

Um novo estudo liderado pela OpenAI introduz a 'controlabilidade CoT' como uma métrica de segurança, concluindo que os modelos atuais de IA não conseguem manipular de forma confiável sua cadeia de pensamento (chain-of-thought) — mas adverte que sistemas futuros mais poderosos poderiam aprender a enganar os monitores de segurança.