Генеральный директор Anthropic обозначил план по замедлению развития ИИ

Генеральный директор Anthropic Дарио Амодеи призвал к более медленным темпам разработки передового ИИ, утверждая, что недавние достижения повысили как возможности, так и риски создаваемых систем. Он предложил независимых оценщиков внутри ведущих ИИ-компаний, координацию по стандартам безопасности и ограниченные международные соглашения о опасных применениях.

Это предложение знаменует собой переход от общих предупреждений о рисках ИИ к конкретным механизмам ограничения разработки. Генеральный директор OpenAI Сэм Альтман заявил, что OpenAI согласна с тем, что компаниям нужно «задавать темп на передовой», и указал, что она примет встроенных оценщиков, хотя и не представил подробного плана реализации. Генеральный директор SpaceX Илон Маск также публично поддержал позицию Амодеи.

Почему Амодеи призывает к более медленному Frontier AI

В новом блоге Амодеи сказал, что два события убедили его в том, что ИИ-компании должны действовать осторожнее: сообщённый взлом OpenAI-HuggingFace и то, что он назвал резким ускорением возможностей ИИ. Особый акцент он сделал на том, что системы становятся лучше в помощи при создании следующего поколения ИИ.

Аргумент Амодеи не в том, чтобы отказаться от развития ИИ. Скорее, он сказал, что компаниям следует снизить скорость, с которой улучшаются возможности моделей, используя дополнительное время для укрепления практик безопасности. Он настаивал, что ИИ может существенно улучшить жизнь людей, но утверждал, что эти преимущества зависят от более осторожной разработки и внедрения технологии.

Время также отражает растущее давление внутри и вне крупных ИИ-лабораторий. TechCrunch сообщил, что исследователь Anthropic Джейкоб Коксон ушёл в отставку из-за опасений, что ведущие компании идут на неприемлемые риски. В публикации Амодеи эта отставка прямо не обсуждалась, и имеющиеся данные не подтверждают, что она напрямую подтолкнула его предложение. Однако это показывает, что дискуссия о безопасности ИИ стала более заметной даже внутри организаций, работающих над передовыми моделями.

Встроенные оценщики получат внутренний доступ

Самое непосредственное предложение Амодеи — разместить сторонних оценщиков безопасности внутри компаний, разрабатывающих Frontier AI. Он сослался на такие организации, как METR, которые могли бы проверять, соблюдают ли фирмы свои обязательства по темпам и безопасности, и помогать обеспечивать отчётность о значимых инцидентах.

Предлагаемая схема даст оценщикам корпоративную идентификацию, рабочие места, ноутбуки и доступ, в целом сопоставимый с доступом внутренних команд оценки рисков. Амодеи сказал, что могут применяться исключения, если того требуют законы или контракты. Он сравнил эту модель с регуляторами, работающими внутри финансовых институтов, а не полагающимися только на последующие раскрытия.

Согласно публикации Амодеи, Anthropic «в одностороннем порядке берёт на себя обязательство» следовать этому подходу. Альтман назвал идею хорошей и сказал, что OpenAI сделает то же самое, а подробности будут позже. Эти обязательства остаются заявлениями руководителей, а не независимо проверенными операционными программами. Имеющиеся на данный момент данные не уточняют полномочия оценщиков, структуру отчётности, финансирование или их способность публиковать результаты.

Это различие важно для разработчиков ИИ и корпоративных покупателей. Оценщик с доступом, но без права остановить выпуск, может обеспечивать видимость без изменения решений. И наоборот, действительно независимая функция проверки может повлиять на графики релизов моделей, политику доступа, реагирование на инциденты и доказательства, которые клиенты получают перед внедрением ИИ-агентов в чувствительные рабочие процессы.

Координация сталкивается с конкуренцией и антимонопольными барьерами

Амодеи также предложил, чтобы крупные ИИ-компании в демократических странах координировали общие стандарты безопасности и ограничения на неконтролируемый прогресс. Он признал, что прямая координация между конкурентами может вызвать антимонопольные опасения, особенно если компании будут выглядеть как совместно ограничивающие продукты или замедляющие конкуренцию.

Его решением было то, чтобы правительство США выступило посредником или допустило узко определённые обсуждения безопасности и предоставило ограниченное антимонопольное исключение. Такое предложение потребовало бы от политиков различать техническое сотрудничество в области безопасности и антиконкурентное поведение. Источник не указывает, что такое исключение существует или что правительства согласились его создать.

Геополитический вызов не менее значителен. Критики замедления развития ИИ часто утверждают, что ограничения могут позволить Китаю укрепить позиции. Амодеи возразил, что экспортный контроль на мощные чипы и оборудование для производства полупроводников, в сочетании с более жёсткими мерами против дистилляции моделей, может увеличить преимущество США в ближайшие три-пять лет.

Это стратегические оценки, а не установленные результаты. Они зависят от правоприменения, темпов внутренней инновации, способности Китая заменить ограниченное оборудование и программное обеспечение, а также готовности союзных правительств к координации. Таким образом, предложение Амодеи связывает политику безопасности ИИ с промышленной политикой и решениями в сфере нацбезопасности, а не рассматривает разработку моделей как вопрос, ограниченный лабораториями компаний.

Самый узкий путь может состоять в глобальных правилах безопасности

Последним предложением Амодеи стала международная координация между США, их союзниками и авторитарными правительствами, где это возможно. Он признал, что сотрудничество с Китаем будет иметь явные пределы, но предположил, что правительства всё же могут договориться о небольшом числе очевидно опасных применений.

В качестве примера он привёл производство биологического оружия с помощью ИИ как область, где узкий запрет может быть более достижимым, чем широкое глобальное соглашение о развитии ИИ. Такие правила не решат более широкий спор о возможностях моделей, но могут создать минимальные границы для высокорисковых применений.

Этот подход также отвечает на более широкую проблему доверия. Амодеи утверждал, что общественная реакция против ИИ отражает скепсис в отношении технологических компаний, технологического сектора и правительств. Критики отрасли, включая журналиста Брайана Мерчанта, как цитирует TechCrunch, сомневаются, достаточно ли апокалиптические сценарии подтверждены пошаговыми доказательствами, и предупреждают, что масштабные предложения по безопасности могут усилить рыночные позиции Anthropic и OpenAI.

Эта критика подчёркивает центральную проблему доверия: компании, которые требуют большего надзора, сами же будут помогать определять стандарты, правила доступа и ограничения по темпу. Независимое управление должно предотвратить превращение координации безопасности в механизм регуляторного захвата или защиты действующих лабораторий от новых конкурентов.

Что отслеживать дальше

Самым ясным краткосрочным сигналом будет то, опубликует ли OpenAI конкретный план по встроенным оценщикам, включая их независимость, права доступа, полномочия по эскалации и обязанности по отчётности об инцидентах. Не менее важной будет реализация самого Anthropic; одного публичного обязательства недостаточно, чтобы понять, смогут ли оценщики влиять на решения о развёртывании.

Реакция политиков станет вторым тестом. Следите за предложениями, касающимися узкой антимонопольной защиты для обсуждений безопасности, формальных требований к отчётности об инцидентах и правил, регулирующих доступ к разработке передовых моделей. Любые действия правительства покажут, смогут ли идеи Амодеи выйти за рамки заявлений руководителей.

Разработчикам ИИ и корпоративным клиентам также следует следить за тем, как эти обязательства влияют на темпы релизов, доступ к моделям, документацию по безопасности и ограничения на высокорисковые возможности. Если темп станет операционным, компании могут увидеть более медленные обновления моделей, но более убедительные доказательства надёжности и рисков злоупотребления. Если же всё останется добровольным, конкурентное давление с целью выпуска всё более мощных систем может продолжиться без изменений.

Взгляд Creati.ai

Заявление Амодеи значимо, потому что превращает фразу «задавать темп на передовой» в предлагаемую операционную модель: внешние оценщики внутри лабораторий, общие обсуждения безопасности и ограниченные международные правила. Но предложение всё ещё находится на стадии обязательств. Его ценность будет зависеть от того, действительно ли оценщики независимы и смогут ли выводы по безопасности задерживать или менять запуски.

Для рынка напряжение состоит не просто в выборе между быстрым и медленным развитием ИИ. Оно заключается в выборе между скоростью, которую трудно проверить, и скоростью, сопровождаемой убедительным надзором. Разработчикам и покупателям следует воспринимать последние заявления Anthropic и OpenAI как сигналы меняющихся ожиданий к управлению, а не как доказательство того, что развитие frontier-моделей уже существенно замедлилось.