По данным METR, прогресс моделей Anthropic почти удвоился, а ИИ обеспечил большую часть ускорения

Судя по материалам о новой оценке группы Model Evaluation and Threat Research (METR), возможности моделей Anthropic совершенствуются примерно вдвое быстрее, чем раньше. В публикациях также утверждается, что около 80% этого ускорения связано с работой при поддержке ИИ. Этот вывод может усилить дискуссию о том, меняет ли ИИ уже сейчас темпы самих исследований в области ИИ.

Об этом сообщили MLQ.ai и Unite.AI, описав оценку METR в схожих выражениях. В доступных исходных материалах нет оригинальной публикации METR, ее методологии или данных бенчмарков, лежащих в основе расчета. Поэтому результат важен, но предварителен: его следует воспринимать как сообщенный исследовательский вывод, а не как полностью независимо проверенное измерение внутреннего процесса разработки Anthropic.

Что говорится в публикациях

Главный вывод состоит в том, что рост возможностей моделей Anthropic «примерно удвоился» или «почти удвоился» — в зависимости от формулировки двух публикаций. В них также говорится, что на долю ИИ приходится около 80% наблюдаемого увеличения темпов прогресса.

Эти цифры указывают на два связанных утверждения. Первое касается скорости, с которой совершенствуются модели Anthropic. Второе — причины этого изменения: работа при поддержке ИИ представлена как главный фактор, а не как незначительная помощь производительности.

Предоставленные для этой статьи данные не указывают, какие модели Anthropic оценивались, какие возможности измеряла METR и какой период использовался в качестве базы сравнения. Они также не показывают, относится ли оценка ко всей разработке моделей или к более узкому кругу исследовательских и инженерных задач.

Это различие важно. Более быстрый рост показателя в рамках определенной оценки не означает автоматически, что все этапы разработки моделей ускорились в той же степени. Аналогично, оценка вклада ИИ в результаты исследований не обязательно свидетельствует о том, что ИИ самостоятельно создал лежащие в основе прорывы.

Почему оценка важна для разработчиков ИИ

Если изложенная интерпретация верна, исследования при поддержке ИИ станут более значимым фактором конкуренции между моделями. Команды, создающие базовые модели, смогут использовать внутренние системы ИИ для генерации кода, планирования экспериментов, отладки, документирования, анализа данных и оценки. Улучшение этих рабочих процессов может сократить время между идеей и проверенным результатом.

Для продуктовых команд и основателей важен не столько отдельный результат Anthropic, сколько предполагаемый им цикл обратной связи. Более совершенные модели могут помогать исследователям создавать еще более совершенные модели, которые затем будут улучшать инструменты следующего цикла разработки. Даже частичная автоматизация способна увеличить число экспериментов, которые может провести команда, или сократить инженерное время, необходимое для изучения неудачного результата.

Коммерческие последствия распределялись бы неравномерно. Крупные лаборатории с большими вычислительными ресурсами, собственными данными и зрелыми системами оценки могут оказаться в лучшем положении для извлечения выгоды из работы при поддержке ИИ, чем небольшие команды. В то же время широко доступные помощники программирования и ИИ-агенты могут позволить небольшим группам автоматизировать часть исследовательских и продуктовых процессов, не воспроизводя всю инфраструктуру передовой лаборатории.

Для корпоративных покупателей ИИ это утверждение также служит напоминанием о необходимости отделять качество модели от организационной производительности. Более способная модель может улучшить внутренние инструменты разработки, но эффект будет зависеть от процессов проверки, контроля доступа, воспроизводимости и способности обнаруживать правдоподобные ошибки. Более быстрые итерации полезны только в том случае, если команды способны определить, какие результаты надежны.

Доказательства и ограничения утверждения

Наиболее сильные численные утверждения в этой статье приписываются METR через публикации MLQ.ai и Unite.AI. В доступных отрывках ни один из этих источников не предоставил прямой цитаты, ссылки на исходный анализ METR или технических определений, необходимых для воспроизведения оценки.

Это оставляет без ответа несколько вопросов. Возможно, METR измеряет рост возможностей с помощью конкретной системы оценки, а не пытается количественно определить каждое измерение исследовательского прогресса Anthropic. Фраза «ИИ обеспечивает около 80% ускорения» также может описывать модель атрибуции, основанную на наблюдаемых рабочих процессах, опросах исследователей, исторических сравнениях или другом методе. Без оригинальной документации читатели не могут оценить, как был рассчитан этот процент.

Поэтому результат не следует считать доказательством того, что модели Anthropic совершенствуются с одинаковой скоростью, что ИИ выполнил 80% соответствующих исследований или что такая же закономерность применима к OpenAI, Google, Meta либо небольшим разработчикам моделей. Это сообщенная оценка, а доступных здесь источников недостаточно, чтобы подтвердить ее масштаб.

Такая осторожность особенно важна, поскольку бенчмарки возможностей могут зависеть от выбора задач, дизайна оценки и изменений в способах подачи запросов моделям или их использования. Измеренное ускорение может отражать реальный рост исследовательской производительности, улучшение инструментов, более качественные данные, дополнительные вычислительные ресурсы или сочетание этих факторов.

За чем наблюдать дальше

Следующим важным сигналом станет оригинальная публикация METR. Исследователям и разработчикам следует проверить определение оценки, временной интервал, включенные системы Anthropic и метод, использованный для отнесения результатов к работе при поддержке ИИ.

Вторым сигналом будет воспроизводимость оценки в других лабораториях и на других классах задач. Сопоставимые данные независимых исследований могут показать, характерно ли сообщенное ускорение именно для Anthropic или является частью более широкого изменения производительности в исследованиях ИИ.

В-третьих, следует отслеживать практические свидетельства со стороны разработчиков моделей: сокращение циклов экспериментов, расширение автоматизированных наборов оценки, более активное использование помощников программирования или появление новых внутренних ИИ-агентов для исследовательских процессов. Сами по себе эти сигналы не докажут оценку METR, но могут показать, как передовые команды пытаются превратить возможности моделей в скорость разработки.

Наконец, корпоративным командам следует отслеживать показатели надежности наряду с заявлениями о производительности. Если работа при поддержке ИИ увеличивает объем выпуска, но одновременно повышает нагрузку на проверку, риски безопасности или проблемы воспроизводимости, чистая выгода может оказаться меньше, чем предполагает заголовочная цифра.

Взгляд Creati.ai

Сообщенная оценка METR важна, поскольку обращает внимание на менее заметный источник прогресса ИИ: использование ИИ внутри организаций, создающих системы ИИ. Если атрибуция обоснованна, конкуренция может все сильнее зависеть не только от архитектуры моделей и вычислительных ресурсов, но и от того, насколько эффективно команды интегрируют ИИ в исследования, разработку и оценку.

Однако к численному заголовку пока следует относиться сдержанно. Поскольку исходный анализ отсутствует в предоставленных материалах, наиболее обоснованный вывод состоит в том, что METR сообщила о потенциально значительном ускорении, а не в том, что отрасль установила универсальный закон прогресса, обусловленного ИИ. Разработчикам следует изучить методологию, прежде чем превращать эту оценку в плановое допущение.