Британский AI Security Institute утверждает, что одно базовое предположение, лежащее в основе многих результатов AI-бенчмарков, неверно: способность agent — это не один фиксированный показатель, а подвижная цель, которая существенно меняется в зависимости от объема test-time compute, которым модель может пользоваться.

Согласно материалу The Decoder о новом исследовании института, агентство протестировало frontier models на семи бенчмарках и обнаружило, что фиксированные лимиты токенов могут систематически занижать то, чего способны добиться AI agents. Это важно далеко за пределами споров о рейтингах. Если результаты бенчмарков фиксируются до того, как производительность модели выходит на плато, разработчики, корпоративные покупатели и специалисты по оценке безопасности могут принимать решения, опираясь на искусственно заниженные показатели как полезности, так и риска.

Непосредственный вывод здесь практический. Многие команды, оценивающие AI agents для написания кода, киберзащиты или другой многошаговой работы, полагаются на числа бенчмарков, чтобы решить, готова ли система к развертыванию. Результаты UK AI Security Institute предполагают, что эти числа могут отражать скорее нижнюю границу, чем верхнюю, особенно в задачах, где agent может проверять промежуточную работу, запуская код, тестируя эксплойт или сверяя выводы.

Что показало исследование

Центральное утверждение UK AI Security Institute, как его описывает The Decoder, заключается в том, что производительность растет вместе с test-time compute таким образом, который стандартные схемы оценки не улавливают полностью. В исследовании, по сообщениям, показатели успешности в задачах software engineering выросли примерно на 25 процентов, когда бюджет токенов увеличили с одного миллиона до десяти миллионов на бенчмарках, включая TerminalBench 2.0 и SWE-Bench Pro.

Эффект не ограничивался программированием. В математических и академических оценках, таких как Humanity's Last Exam, прирост, как сообщается, достигал примерно 22 процентов при бюджете до пяти миллионов токенов. В кибербезопасности, как пишет The Decoder, около 8 процентов задач удавалось решить только после того, как бюджет превышал 10 миллионов токенов, при этом некоторые требовали 50 миллионов токенов, а более новые модели показывали более высокие результаты при бюджетах свыше 100 миллионов.

Эта картина подтверждает более общий методологический вывод. Если организаторы бенчмарков слишком рано ограничивают прогоны, часть сложных задач будет зафиксирована как провал, даже если модель смогла бы решить их при большем compute. В таком прочтении оценка на бенчмарке становится сильно зависимой от выбора бюджета, а не стабильной мерой способности.

Институт также, по сообщениям, обнаружил важные различия между доменами. На HealthBench, который The Decoder описывает как бенчмарк для медицинских задач, модели, похоже, выходили на плато в пределах стандартного бюджета. Иными словами, больше compute там почти не помогало. Объяснение выглядит интуитивно: дополнительные токены наиболее полезны там, где agent может итеративно тестировать и проверять собственную работу. Они менее важны там, где обратная связь скудна, неоднозначна или приходит с задержкой.

Почему лимиты токенов меняют картину

Более существенный аргумент исследования состоит не просто в том, что большие бюджеты улучшают результаты, а в том, что прогресс capabilities на frontier может идти быстрее, чем показывают стандартные оценки. The Decoder сообщает, что ранее институт оценивал временные горизонты frontier models на киберзадачах при фиксированном бюджете 2,5 миллиона токенов. Когда бюджет увеличивается до 50 миллионов токенов, тренд прогресса выглядит примерно на 60 процентов более крутым.

Иначе говоря, кажущаяся скорость улучшения частично зависит от того, сколько compute оценщики готовы потратить. По сообщениям, институт заявил, что времена удвоения сдвигаются примерно с 67–91 дня в одной конфигурации до около 40–50 дней в конфигурации с более высоким бюджетом. Если это верно, это серьезное предупреждение для всех, кто использует бенчмарки с фиксированным бюджетом для отслеживания роста риска или коммерческой готовности.

UK AI Security Institute также связывает использование токенов с продолжительностью задачи. Опираясь на 211 задач software engineering из METR и 78 киберзадач из собственного тестирования, институт, как сообщается, обнаружил степенную зависимость между тем, сколько времени потребовалось бы человеку-эксперту, и тем, сколько токенов обычно расходует AI agent. Задача, занимающая минуту, может требовать тысячи токенов; час — миллионы; неделя — миллиарды.

Эта зависимость помогает объяснить, почему фиксированные бюджеты систематически исключают длинный горизонт работы. Бенчмарк может содержать задачи, которые в принципе решаемы моделью, но не в рамках выделенного расхода. The Decoder приводит пример киберзадачи под названием “The Last Ones”, которая, по оценке, заняла бы у человеческого эксперта около 20 часов; ни одна протестированная модель, как сообщается, не справилась с ней при бюджете ниже 30 миллионов токенов.

Для разработчиков это напоминание о том, что “сбой agent” часто складывается как минимум из трех факторов: навыка модели, доступа к инструментам и бюджета на inference. Если считать все неудачи ограничениями способности, это может привести к ошибочным продуктовым решениям.

Более новые модели, похоже, выигрывают больше

Еще один заметный результат заключается в том, что более новые frontier systems, по сообщениям, получают большую отдачу от дополнительного compute, чем более старые. The Decoder пишет, что институт наблюдал улучшения по трем измерениям: reach — то есть решаемыми становятся более сложные задачи; reliability — одна и та же задача решается более стабильно; efficiency — для заданного результата требуется меньше токенов.

Числа по временным горизонтам делают это наглядным. По данным The Decoder о исследовании, горизонт current frontier model в киберзадачах вырос примерно с 40 минут при 2,5 миллиона токенов до около четырех часов при 50 миллионах токенов. В более широком frontier горизонт сдвинулся примерно с двух часов до около 14 часов при более высоком бюджете.

Это не означает, что весь прогресс идет гладко или монотонно. По сообщениям, институт обнаружил, что примерно в 10–30 процентах задач новые модели работали хуже предшественников. Эта оговорка важна, потому что она противостоит упрощенному нарративу “чем новее, тем лучше везде”. Для продуктовых команд это усиливает необходимость task-specific testing вместо опоры на общее позиционирование модели.

Тем не менее, если новые модели извлекают непропорционально большую пользу из более крупных бюджетов compute, практики оценки, построенные на старых допущениях о стоимости, могут становиться все более устаревшими. Падение стоимости inference со временем может сделать высокобюджетные прогоны более доступными, позволяя возможностям, которые сейчас кажутся слишком дорогими, появляться в обычных продуктах и рабочих процессах.

Доказательства, ограничения и степень уверенности в утверждениях

Эта история в основном опирается на репортаж The Decoder об исследовании UK AI Security Institute, а не на предоставленную напрямую научную статью или публикацию института в данном наборе источников. Это означает, что конкретные цифры по бенчмаркам, пороги токенов и оценки временных горизонтов следует рассматривать как переданные в репортаже результаты, а не как independently verified Creati.ai по оригинальным материалам.

Тем не менее, эти утверждения правдоподобны и внутренне согласованы. Любой, кто работал с AI agents в задачах программирования или безопасности, видел, что более долгие прогоны могут давать лучшие результаты, особенно когда система может проверять гипотезы, искать ошибки и повторять попытки. Похоже, что институт добавляет к этому структурированный аргумент: дизайн бенчмарков систематически занижает измерения.

Есть и важные границы применимости. Во-первых, прирост не универсален, как показывает, по сообщениям, результат HealthBench. Во-вторых, более высокие бюджеты токенов повышают затраты, увеличивают задержку и могут оставлять больше места для бесплодного поиска. В-третьих, производительность на бенчмарке при расширенном compute — это не то же самое, что надежная производительность в production в рамках корпоративных ограничений.

UK AI Security Institute, по сообщениям, теперь использует несколько бюджетов и ищет “minimum informative budgets”, при которых производительность перестает заметно улучшаться. Это полезная концепция, но она все равно оставляет открытыми вопросы операционных стандартов. Покупателям нужно знать не только максимальную capability; им нужно понимать capability при приемлемых стоимости, скорости и риске.

Что это значит для AI agents и enterprise AI

Для команд, создающих AI agents, вывод прямой: одного выбора бенчмарка уже недостаточно. Дизайн оценки должен включать budget sweeps, особенно для рабочих процессов в software engineering, cyber operations и других доменах, где используются инструменты. Модель, которая выглядит посредственно при одноразовом бюджете, может стать пригодной, если ей дать больше времени на рассуждение или больше повторных попыток.

Для покупателей enterprise AI это осложняет сравнение поставщиков. Два провайдера могут заявлять победы на бенчмарках, которые нельзя напрямую сопоставить, если они были получены при разных потолках compute. Команды закупок должны запрашивать не только баллы на SWE-Bench Pro, TerminalBench 2.0 или HealthBench, но и бюджеты токенов, задержки, политики повторных попыток и разрешения на использование инструментов, которые использовались для их получения.

Для работы в сфере безопасности и политики исследование затрагивает еще более чувствительный вопрос. Если оценки harmful-capability в кибербезопасности проводятся при бюджетах, которые обрезают производительность, оценка рисков может отставать от реально развертываемых возможностей. Фокус UK AI Security Institute на киберзадачах показывает, что речь идет не только об академической проблеме. Высокобюджетные возможности могут стать достижимыми в реальном мире по мере удешевления inference и улучшения orchestration tools.

Более широкий рыночный вывод заключается в том, что оценка, возможно, должна перейти от статичных чисел к capability curves. Это будет сложнее и дороже, чем нынешние рейтинги, но, вероятно, лучше отражает то, как frontier models действительно используются внутри продуктов.

На что смотреть дальше

Следующий ключевой сигнал — опубликует ли UK AI Security Institute исходную статью, методы и конфигурации бенчмарков в достаточной детализации, чтобы их могли воспроизвести внешние исследователи. Без этого главный тезис останется важным, но его будет труднее проверить.

Второй сигнал — внедрение со стороны владельцев бенчмарков и лабораторий. Если тесты вроде SWE-Bench Pro, Humanity's Last Exam или HealthBench начнут публиковать результаты в диапазонах бюджетов, а не в виде одного числа, это означает, что аргумент института уже начал влиять на практику.

Третье — следите за поставщиками моделей. Если лаборатории начнут подчеркивать performance curves, зависящие от бюджета, вместо точечных оценок, это будет означать, что рынок принимает: test-time compute — это часть capability, а не просто настройка runtime.

Наконец, следите за ценами и моделями развертывания в enterprise. По мере снижения стоимости токенов больше клиентов может выбирать более долго работающих AI agents для задач программирования и киберworkflow. Если это произойдет, разрыв между “benchmark capability” и “deployed capability” может быстро сократиться.

Мнение Creati.ai

UK AI Security Institute указывает на слепую зону, которую индустрия ИИ терпела, потому что одночисловые бенчмарки легко публиковать и сравнивать. Но AI agents — не статические предсказатели. Это системы, которые ищут, проверяют и восстанавливаются после ошибок, а их поведение сильно зависит от того, сколько compute им разрешено потреблять.

Для разработчиков и покупателей практический вывод не в том, что “всегда нужно тратить больше токенов”. Он в том, что оценка должна отражать тот operating regime, который вам действительно важен. В software engineering и cybersecurity, где AI agents могут выигрывать от итераций и обратной связи, бюджет — это часть продукта. Если практика бенчмарков не улавливает это, и коммерческие решения, и оценки безопасности будут по-прежнему приходить с опозданием.