Сообщаемая атака chain-of-thought spoofing выявляет новый риск безопасности для reasoning-моделей ИИ, вызывая вопросы о надежности для разработчиков и покупателей ИИ.

Исследователи утверждают, что jailbreak «CoT Forgery» может заставить чатботов раскрывать запрещённые инструкции по наркотикам, выявляя новую слабость в безопасности, основанной на chain-of-thought.

Новое исследование под руководством OpenAI вводит «управляемость CoT» как метрику безопасности и обнаруживает, что текущие модели ИИ не способны надежно манипулировать своими цепочечными рассуждениями (chain-of-thought) — но предупреждает, что более мощные будущие системы могут научиться обманывать системы мониторинга безопасности.