Почему бывший исследователь AlphaGo считает, что современные LLM всё ещё не умеют рассуждать

Большие языковые модели стали лучше выдавать пошаговые ответы, однако такая кажущаяся вдумчивость не обязательно означает рассуждение, считает Торе Грепель, бывший исследователь Google DeepMind и один из ключевых участников команды AlphaGo.

В анализе, опубликованном MIT Technology Review, Грепель утверждает, что современные LLM по-прежнему остаются фундаментально системами предсказания следующего токена. По его словам, для создания надёжного машинного интеллекта потребуется отдельная архитектура рассуждений, которая записывает убеждения, проверяет возможные объяснения, обновляет выводы на основании доказательств и делает процесс принятия решений проверяемым.

Этот аргумент важен, поскольку разработчики ИИ и корпоративные заказчики всё чаще внедряют модели для программирования, исследований, диагностики, планирования и других задач, где правдоподобного ответа недостаточно. Предложение Грепеля — не анонс продукта и не новый результат тестирования. Это техническая критика известного исследователя, который недавно покинул Google DeepMind и призывает направить развитие ИИ в другую сторону.

Аргумент, стоящий за заголовком

Главное различие, на котором настаивает Грепель, проходит между беглым продолжением закономерностей и осмысленным рассуждением. LLM генерирует токены один за другим на основе статистических связей, усвоенных из данных. Этот процесс способен выдавать полезные объяснения, математические решения и код, однако базовый механизм остаётся тем же даже тогда, когда модель создаёт промежуточные шаги.

Такие промежуточные шаги обычно называют цепочкой рассуждений. Грепель признаёт, что цепочка рассуждений может улучшать результаты, особенно в математике и программировании. Но, по его мнению, генерация большего объёма текста не создаёт независимую систему рассуждений. Модель по-прежнему продолжает последовательность посредством предсказания следующего токена, а не оперирует явным набором утверждений или гипотез.

Он выделяет три слабых места. Современным моделям обычно не хватает постоянной и проверяемой записи того, во что они верят, насколько уверены, какие доказательства поддерживают каждое утверждение и какие вопросы остаются нерешёнными. Кроме того, они объединяют хранящиеся знания с операциями для их обработки внутри весов нейронной сети, вместо того чтобы чётко разделять знания и рассуждения. Наконец, их письменные объяснения могут не отражать достоверно, каким образом был получен ответ.

Последняя проблема особенно важна для систем, применяемых в ситуациях с высокими рисками. Если ИИ ошибается в медицине, инженерии или научных исследованиях, пользователям нужно определить, стала ли причиной плохая доказательная база, неверное допущение или ошибочный вывод. Убедительное объяснение, сгенерированное после ответа, может не дать этой диагностической информации.

Что AlphaGo делал иначе

Грепель использует AlphaGo, чтобы показать архитектуру, которая, по его мнению, нужна современному ИИ. Во время матча 2016 года против южнокорейского чемпиона Ли Седоля AlphaGo сделал необычный ход, известный как ход 37. Сначала он выглядел ошибкой, но в итоге AlphaGo выиграл и партию, и матч со счётом 4:1.

По словам Грепеля, важно то, что этот ход появился не благодаря одной лишь интуиции. AlphaGo объединял нейросетевую policy-сеть, оценивавшую перспективные ходы, с системой поиска, исследовавшей возможные продолжения. Поиск строил дерево игры с альтернативными позициями и будущими ходами, а затем оценивал ветви перед выбором действия.

В этой конструкции нейронные сети обеспечивали быстрые оценки, а поиск — структурированное обдумывание. Грепель сравнивает её с поведенческим различием между быстрым интуитивным мышлением и более медленным аналитическим мышлением. Два компонента поддерживали друг друга: интуиция сужала пространство возможностей, а поиск проверял их с учётом будущих последствий.

Однако у этого сравнения есть ограничения. В го существуют определённая доска, фиксированный набор разрешённых действий и правила, определяющие результат каждого хода. Открытые задачи науки или бизнеса таких условий не имеют. Состояние мира неполно, доступные действия меняются, а последствия могут быть неопределёнными.

Тем не менее Грепель считает, что эта архитектура предлагает полезный шаблон. Универсальная система рассуждений могла бы поддерживать «эпистемическое состояние» — структурированную запись установленных утверждений, сомнений, отвергнутых объяснений, открытых вопросов и подтверждающих доказательств. Каждый шаг рассуждения обновлял бы это состояние, а не просто добавлял новый сгенерированный текст.

Доказательства и утверждения

Самые сильные утверждения в этой истории основаны на анализе Грепеля в MIT Technology Review, а не на новом опубликованном эксперименте или независимой оценке продукта. Статья содержит исторические и архитектурные сведения об AlphaGo, но не представляет нового бенчмарка, сравнивающего современные LLM с предложенной системой эпистемического состояния.

Грепель также ссылается на исследования, показывающие, что языковые модели могут создавать объяснения, которые ненадёжно отражают процессы, приведшие к их ответам. В предоставленной статье не указаны конкретные исследования, наборы данных или результаты моделей с достаточной детализацией, чтобы оценить здесь масштаб или общность этого эффекта.

Это различие важно. Критика не означает, что современные модели бесполезны или неспособны решать многоэтапные задачи. Она означает, что результативность в конкретной задаче не следует автоматически считать доказательством того, что модель рассуждает в том же смысле, что и система, явно отслеживающая альтернативы, доказательства и изменения убеждений.

В статье также изложено собственное направление проектирования, предлагаемое Грепелем. Он предлагает использовать LLM для выдвижения стратегий, взаимодействия с инструментами через API или код и проверки того, подтверждаются ли утверждения доказательствами. Затем независимый оценщик должен определить, действительно ли каждый шаг уменьшает неопределённость, прежде чем системе будет разрешено обновить свои знания.

За чем следить дальше

Для разработчиков ИИ практическим сигналом станет то, выйдут ли новые системы за пределы более длинных промптов и более длинных сгенерированных цепочек рассуждений. Следует обращать внимание на архитектуры, которые поддерживают проверяемое промежуточное состояние, отделяют фактическую память от процедур вывода и регистрируют, как доказательства меняют вывод.

Ещё одной ключевой областью станет использование инструментов. Система, способная запускать код, запрашивать базы данных, извлекать документы или проектировать эксперимент, может стать надёжнее, если такие действия связаны с явными проверками, а не служат украшением вокруг ответа языковой модели. Важен не сам факт вызова агентом инструмента, а то, изменяет ли результат структурированное состояние убеждений прослеживаемым образом.

Корпоративным заказчикам также следует спрашивать поставщиков, как они проверяют решения моделей, воспроизводят сбои и отличают извлечённые доказательства от сгенерированных утверждений. Существующие интерфейсы цепочек рассуждений могут создавать впечатление большей обоснованности ответа, не делая лежащий в основе процесс более проверяемым.

Исследователям, в свою очередь, предстоит показать, способны ли архитектуры, вдохновлённые AlphaGo, справляться с задачами открытого мира, не становясь слишком дорогими или медленными. Поддержка и оценка множества гипотез может повысить надёжность, но также увеличить вычислительные затраты, задержку, инженерную сложность и нагрузку по проверке каждого обновления.

Взгляд Creati.ai

Выступление Грепеля лучше всего понимать как вызов тому, как индустрия ИИ обозначает прогресс. Улучшение результатов на бенчмарках рассуждений и более подробные объяснения ценны, но сами по себе не доказывают наличия у модели аудируемого процесса рассуждений.

Более сложная проверка носит практический характер: может ли система сохранять неопределённость, раскрывать доказательства, лежащие в основе вывода, пересматривать свои убеждения при поступлении новой информации и показывать, где произошла ошибка? Если ИИ должен поддерживать научные открытия, медицину и другие рабочие процессы с серьёзными последствиями, эти возможности могут быть не менее важны, чем масштаб самой модели. Следующее поколение ИИ-систем будут оценивать не только по выдаваемым ответам, но и по тому, могут ли пользователи проверить и принять путь, которым система к ним пришла.