Google DeepMind запускает институт, чтобы расширить дискуссию об AGI

Google DeepMind запустила DeepMind Institute — новую платформу, призванную вывести обсуждение искусственного общего интеллекта за пределы собственных лабораторий компании. Институт объединяет исследователей из Google DeepMind, Google и более широкого научного сообщества, чтобы изучить, как следует оценивать, регулировать и делать более безопасным передовой ИИ.

Инициатива появляется на фоне того, как споры об AGI смещаются от общих предупреждений к конкретным предложениям по надзору, прозрачности и ограничениям на развитие на переднем крае. В стартовую подборку входят четыре эссе, посвящённые экономическим потрясениям, рассуждениям моделей, человеческому благополучию и оценке передовых ИИ-систем.

Публичный форум под руководством фигур из DeepMind и Google

В числе директоров института указаны сооснователь DeepMind Shane Legg, исполнительный директор Google James Manyika и председатель Google DeepMind Demis Hassabis. Как сообщает TechCrunch в своём материале о запуске, Legg исполняет обязанности управляющего редактора.

Заявленная цель института — не представлять единую позицию Google. В объявлении говорится, что исследователи из Google, Google DeepMind и других организаций могут не соглашаться друг с другом и менять свои взгляды по мере появления новых данных. Такой подход важен, поскольку AGI по-прежнему остаётся спорной категорией, а не общепринятым техническим стандартом в отрасли.

The Decoder сообщил, что платформа задумана как междисциплинарная инициатива, опирающаяся наряду с технической работой на искусство, гуманитарные науки, политику и научные исследования. Мандат института включает безопасность, управление, риски кибератак и возможность того, что будущие системы станут трудно контролируемыми.

DeepMind описывает AGI как систему, обладающую когнитивными способностями человеческого мозга, однако источники также подчёркивают, что сегодняшние системы всё ещё не справляются с некоторыми простыми задачами и лишены таких качеств, как креативность. Разногласия о том, что считать AGI, делают особую ставку института на измерение и оценку особенно значимой.

Четыре эссе превращают общие опасения в предложения

Стартовые материалы задают институту ориентированный на политику импульс. Одно эссе касается экономической политики для управления возможными потрясениями от AGI. Другое рассматривает, как сохранить понятные человеку рассуждения в всё более мощных моделях. Третье сосредоточено на принципах человеческого благополучия, а четвёртое предлагает рамку для оценки передовых моделей ИИ.

Эссе исследователей безопасности DeepMind Rohin Shah и Anca Dragan посвящено прозрачности. Они утверждают, что снижение возможности проверять пошаговые рассуждения модели не является неизбежным. По мере того как новые архитектуры выполняют больше вычислений внутри, разработчики и регуляторы могут столкнуться с компромиссом между возможностями и наблюдаемостью.

Их предложение включает решение проблемы «opaque serial depth», то есть объёма последовательных вычислений, которые система выполняет, не создавая читаемого следа рассуждений. Авторы предполагают, что регуляторы могли бы ограничить это свойство или потребовать от разработчиков доказать, что менее прозрачные системы остаются столь же наблюдаемыми. Представленный материал не подтверждает, что такие правила уже приняты; это рекомендации в рамках стартовой дискуссии института.

Эссе Hassabis предлагает создать возглавляемый США орган по стандартизации для оценки самых передовых ИИ-моделей. Согласно предлагаемому подходу, разработчики изначально добровольно будут направлять системы на проверку вплоть до 30 дней до релиза. Если процесс оценки покажет свою ценность, прохождение тестов в конечном итоге может стать условием для развёртывания передовых систем в США.

Предлагаемый орган сначала будет разрабатывать оценки с участием ИИ-компаний, а затем перейдёт к независимым, неафишируемым проверкам. Эти «held-out» тесты призваны снизить риск того, что лаборатории будут оптимизировать модели специально под известные бенчмарки. Hassabis также утверждает, что надзор можно усилить, если риски станут серьёзнее, потенциально включая скоординированное замедление среди разработчиков передового ИИ.

Что подтверждают доказательства — и что нет

О запуске и руководстве института сообщают TechCrunch и The Decoder, однако доступные доказательства ограничиваются освещением объявления и описаниями стартовых эссе. В предоставленных материалах нет доказательств того, что институт является независимым регулятором, что его предложения были приняты правительством США или что компании согласились направлять модели на проверку.

Поэтому предложение о стандартизационном органе лучше всего понимать как политическую позицию Hassabis, а не как действующую правительственную программу. Аналогично, заявления о рисках прозрачности исходят от авторов эссе по безопасности и не должны восприниматься как независимо подтверждённый показатель, демонстрирующий, что текущие системы перешли определённый порог опасности.

Сроки появления AGI тоже остаются неопределёнными. The Decoder сообщил, что Hassabis ожидает AGI в течение нескольких лет, а Legg говорил о возможном предшественнике к 2028 году. Это индивидуальные прогнозы, а не консенсусные оценки. В статье также отмечалось, что другие компании используют разные определения и сроки, включая акцент OpenAI на экономической ценности и более агрессивный прогноз, приписываемый генеральному директору Sam Altman.

Почему институт важен для создателей ИИ и компаний

Для разработчиков моделей самая непосредственная проблема заключается в том, что оценка может всё чаще рассматриваться как требование к выпуску, а не как исследовательская работа после запуска. «Held-out» тесты усложнят настройку систем только под публичные бенчмарки, но также создадут требования к доступу, конфиденциальности, воспроизводимости и ответственности.

Предложение по прозрачности поднимает отдельный инженерный вопрос. Если более мощные архитектуры производят менее поддающиеся проверке рассуждения, командам, возможно, придётся выбирать между производительностью, аудитопригодностью и масштабом развёртывания. Корпоративные заказчики, создающие высокорисковые рабочие процессы, могут спрашивать не только о точности модели, но и о том, можно ли расследовать её поведение после ошибки или инцидента безопасности.

Для регуляторов и политических команд предложения института дают конкретные темы для обсуждения: добровольные предрелизные проверки, независимое тестирование, ограничения на непрозрачные вычисления и механизмы эскалации, если меры защиты не успевают за развитием. Ни одна из этих идей не решает практические проблемы определения риска или того, кто контролирует оценщика. Однако они смещают дискуссию в сторону институциональных механизмов, которые можно проверить.

Инициатива также имеет конкурентное значение. Google DeepMind одновременно является ведущим разработчиком передовых моделей и участником дискуссии о governance. Его институт может помочь сформировать лексику, используемую политиками и корпоративными клиентами, одновременно подвергая собственные предположения компании критике со стороны внешних исследователей. Приведёт ли это напряжение к реальному контролю, будет зависеть от того, насколько открытой станет платформа и повлияют ли несогласные мнения на решения за пределами опубликованных эссе.

На что смотреть дальше

Первый сигнал — будет ли DeepMind Institute публиковать дополнительные работы исследователей за пределами Google и Google DeepMind, а не останется ли он в основном каналом для взглядов своих директоров и коллег.

Второй — получит ли предложенный Hassabis орган по оценке поддержку со стороны американских политиков или других компаний в сфере ИИ. Признаки пилота, общего протокола тестирования или добровольных предрелизных подач означали бы переход от предложения к рабочей рамке.

Исследователям и покупателям также стоит следить за техническими деталями того, как будет измеряться «opaque serial depth» и как разработчики смогут доказать эквивалентную наблюдаемость. Наконец, будущие эссе могут прояснить, как институт разделяет заявления о возможностях AGI и измеримую эффективность в реальных задачах.

Взгляд Creati.ai

DeepMind Institute важен не столько тем, что ставит точку в споре об AGI, сколько тем, что даёт Google DeepMind официальный канал для более заметного выражения разногласий и политических предложений. Его стартовая повестка связывает архитектуру моделей, исследования безопасности, экономические потрясения и общественный надзор — области, которые часто обсуждаются отдельно.

Проверка на доверие будет практической. Если институт будет поддерживать независимую оценку, публиковать доказательства, лежащие в основе своих рекомендаций, и допускать взгляды, бросающие вызов коммерческим и исследовательским приоритетам Google DeepMind, он может стать полезным форумом для создателей ИИ и политиков. Если же он в основном будет упаковывать внутренние позиции, его влияние окажется уже, чем предполагает запуск.