Почему бывший исследователь AlphaGo считает, что современные LLM всё ещё не умеют рассуждать
Бывший исследователь AlphaGo Торе Грепель утверждает, что LLM нужны проверяемые состояния убеждений и поиск, а не просто более длинные цепочки рассуждений.
Цепочка рассуждений
Последние Новости и Анализ по Теме Цепочка рассуждений
Цепочка рассуждений
Письменные шаги рассуждения ИИ-моделей соответствуют различным внутренним паттернам, выяснило исследование
Исследование KAIST и Naver AI Lab показывает, что модели внутренне кодируют различные операции рассуждения, открывая новые возможности и ограничения для надзора за ИИ.
Подмена chain-of-thought создает давление на заявления о безопасности reasoning-моделей ИИ
Сообщаемая атака chain-of-thought spoofing выявляет новый риск безопасности для reasoning-моделей ИИ, вызывая вопросы о надежности для разработчиков и покупателей ИИ.
Исследователи сообщают о jailbreak «CoT Forgery», который может обойти правила безопасности чатботов с помощью фальшивого контекста рассуждений
Исследователи утверждают, что jailbreak «CoT Forgery» может заставить чатботов раскрывать запрещённые инструкции по наркотикам, выявляя новую слабость в безопасности, основанной на chain-of-thought.
Исследование OpenAI предупреждает, что будущие модели ИИ могут обманывать тесты безопасности, скрывая свои рассуждения
Новое исследование под руководством OpenAI вводит «управляемость CoT» как метрику безопасности и обнаруживает, что текущие модели ИИ не способны надежно манипулировать своими цепочечными рассуждениями (chain-of-thought) — но предупреждает, что более мощные будущие системы могут научиться обманывать системы мониторинга безопасности.
Реклама