El UK AI Security Institute sostiene que una suposición básica detrás de muchos resultados de benchmarks de IA es incorrecta: la capacidad de un agente no es una sola puntuación, sino un objetivo cambiante que varía de forma material según la cantidad de computación en tiempo de prueba que se le permita usar a un modelo.

Según informa The Decoder sobre el nuevo estudio del instituto, la agencia evaluó modelos frontier en siete benchmarks y encontró que unos presupuestos fijos de tokens pueden subestimar sistemáticamente lo que los agentes de IA son capaces de lograr. Eso importa mucho más allá de los debates de rankings. Si las puntuaciones de los benchmarks se registran antes de que el rendimiento de un modelo se estabilice, los desarrolladores, los compradores empresariales y los evaluadores de seguridad podrían estar tomando decisiones basadas en lecturas artificialmente bajas tanto de la utilidad como del riesgo.

La implicación inmediata es práctica. Muchos equipos que evalúan agentes de IA para programación, defensa cibernética u otro trabajo de varios pasos confían en las cifras de los benchmarks para decidir si un sistema está listo para desplegarse. Los hallazgos del UK AI Security Institute sugieren que esas cifras pueden reflejar un suelo más que un techo, especialmente en tareas en las que el agente puede verificar el trabajo intermedio ejecutando código, probando un exploit o comprobando salidas.

Lo que encontró el estudio

La afirmación central del UK AI Security Institute, según la describe The Decoder, es que el rendimiento aumenta con la computación en tiempo de prueba de formas que los entornos de evaluación comunes no capturan del todo. En el estudio, las tasas de éxito en tareas de ingeniería de software supuestamente aumentaron alrededor de un 25 por ciento cuando el presupuesto de tokens pasó de un millón a diez millones en benchmarks como TerminalBench 2.0 y SWE-Bench Pro.

El efecto no se limitó a la programación. En evaluaciones de matemáticas y académicas como Humanity's Last Exam, las mejoras habrían llegado aproximadamente al 22 por ciento con un presupuesto de hasta cinco millones de tokens. En ciberseguridad, The Decoder informa que alrededor del 8 por ciento de las tareas solo se resolvieron cuando los presupuestos superaron los 10 millones de tokens, y que algunas requirieron 50 millones de tokens, con modelos más nuevos empujando todavía más alto por encima de los 100 millones.

Ese patrón respalda una idea metodológica más amplia. Si quienes organizan benchmarks cortan las ejecuciones demasiado pronto, una parte de las tareas difíciles quedará registrada como fallo aunque el modelo podría resolverlas con más computación. Bajo ese encuadre, la puntuación de un benchmark depende en gran medida de la elección del presupuesto, en lugar de ser una medida estable de capacidad.

El instituto también habría encontrado variaciones importantes por dominio. En HealthBench, que The Decoder describe como un benchmark de tareas médicas, los modelos parecían alcanzar una meseta dentro del presupuesto estándar. En otras palabras, más computación no ayudó mucho allí. La explicación que se informa es intuitiva: los tokens extra son más útiles en entornos donde un agente puede probar y verificar iterativamente su propio trabajo. Importan menos cuando la retroalimentación es escasa, ambigua o tardía.

Por qué los presupuestos de tokens cambian el panorama

El argumento más importante del estudio no es solo que presupuestos mayores mejoren las puntuaciones, sino que el progreso de la capacidad en la frontera puede estar avanzando más rápido de lo que sugieren las evaluaciones estándar. The Decoder informa que el instituto estimó anteriormente los horizontes temporales de los modelos frontier en tareas de ciberseguridad con un presupuesto fijo de 2,5 millones de tokens. Cuando el presupuesto se amplía a 50 millones de tokens, la tendencia de progreso parece unas 60 por ciento más pronunciada.

Dicho de otro modo, el ritmo aparente de mejora depende en parte de cuánta computación estén dispuestos a gastar los evaluadores. Según se informa, el instituto dijo que los tiempos de duplicación pasan de aproximadamente 67 a 91 días bajo un planteamiento a alrededor de 40 a 50 días bajo el escenario de presupuesto más alto. Si esto es correcto, supone una gran advertencia para cualquiera que use benchmarks de presupuesto fijo para seguir la escalada del riesgo o la preparación comercial.

El UK AI Security Institute también vincula el uso de tokens con la duración de las tareas. A partir de 211 tareas de ingeniería de software de METR y 78 tareas de ciberseguridad de sus propias pruebas, el instituto habría encontrado una relación de ley de potencia entre cuánto tiempo necesitaría un experto humano y cuántos tokens tiende a consumir un agente de IA. Una tarea que lleva un minuto puede requerir miles de tokens; una hora puede requerir millones; una semana puede requerir miles de millones.

Esa relación ayuda a explicar por qué los presupuestos fijos excluyen sistemáticamente el trabajo de largo horizonte. Un benchmark puede contener tareas que, en principio, son resolubles por un modelo, pero no dentro del gasto asignado. The Decoder cita una tarea de ciberseguridad llamada “The Last Ones”, estimada en unas 20 horas para un experto humano, en la que ningún modelo probado habría tenido éxito por debajo de 30 millones de tokens.

Para los desarrolladores, eso recuerda que el “fallo del agente” suele combinar al menos tres factores: habilidad del modelo, acceso a herramientas y presupuesto de inferencia. Tratar todos los fallos como límites de capacidad puede llevar a decisiones de producto engañosas.

Los modelos más nuevos parecen beneficiarse más

Otro resultado notable es que los sistemas frontier más nuevos supuestamente obtienen más beneficio de la computación adicional que los más antiguos. The Decoder dice que el instituto observó mejoras en tres dimensiones: alcance, es decir, tareas más difíciles se vuelven resolubles; fiabilidad, es decir, la misma tarea se resuelve de forma más consistente; y eficiencia, es decir, se necesitan menos tokens para un resultado dado.

Las cifras de horizonte temporal reportadas lo concretan. El horizonte de un modelo frontier actual en tareas de ciberseguridad subió de unos 40 minutos con 2,5 millones de tokens a aproximadamente cuatro horas con 50 millones de tokens, según el relato de The Decoder sobre el estudio. En el conjunto más amplio de modelos frontier, el horizonte pasó de unas dos horas a alrededor de 14 horas con el presupuesto más alto.

Eso no significa que todo el progreso sea suave o monótono. Según se informa, el instituto encontró que en aproximadamente el 10 al 30 por ciento de las tareas, los modelos más nuevos rindieron peor que sus predecesores. Esa salvedad importa porque rebate una narrativa simplista de “más reciente equivale a mejor en todas partes”. Para los equipos de producto, el resultado refuerza la necesidad de pruebas específicas por tarea en lugar de confiar en marcas de modelo amplias.

Aun así, si los modelos más nuevos extraen un valor desproporcionado de presupuestos de computación mayores, las prácticas de evaluación construidas en torno a supuestos de coste antiguos pueden quedarse cada vez más obsoletas. La caída de los costes de inferencia podría hacer que las ejecuciones de alto presupuesto sean más accesibles con el tiempo, permitiendo que capacidades que hoy parecen demasiado caras aparezcan en productos y flujos de trabajo cotidianos.

Evidencia, límites y cuánta confianza depositar en las afirmaciones

Esta historia se basa principalmente en la cobertura de The Decoder sobre un estudio del UK AI Security Institute, en lugar de un artículo de investigación o una publicación del instituto proporcionados directamente en el conjunto de fuentes aquí. Eso significa que las cifras concretas de los benchmarks, los umbrales de tokens y las estimaciones de horizonte temporal deben tratarse como hallazgos informados, y no como algo verificado de forma independiente por Creati.ai a partir de materiales originales.

Aun así, las afirmaciones son plausibles en términos generales y coherentes internamente. Cualquiera que haya trabajado con agentes de IA en tareas de programación o seguridad habrá visto que las ejecuciones más largas pueden desbloquear mejores resultados, especialmente cuando el sistema puede probar hipótesis, inspeccionar errores y reintentar. Lo que parece añadir el instituto es un argumento estructurado de que el diseño de benchmarks está sesgando sistemáticamente las mediciones hacia abajo.

También hay límites importantes en los hallazgos. Primero, las mejoras no son universales, como sugiere el resultado reportado de HealthBench. Segundo, presupuestos de tokens más altos aumentan los costes, la latencia y pueden crear más margen para búsquedas poco productivas. Tercero, el rendimiento en benchmarks con computación ampliada no es lo mismo que un rendimiento fiable en producción bajo restricciones empresariales.

Según se informa, el UK AI Security Institute ahora utiliza múltiples presupuestos y busca “presupuestos mínimos informativos” donde el rendimiento deja de mejorar de forma material. Es un concepto útil, pero aun así deja abiertas preguntas sobre estándares operativos. Los compradores no solo quieren conocer la capacidad máxima; necesitan saber la capacidad a un coste, velocidad y riesgo aceptables.

Qué significa esto para los agentes de IA y la IA empresarial

Para los equipos que construyen agentes de IA, el mensaje es claro: elegir benchmarks ya no es suficiente. El diseño de la evaluación tiene que incluir barridos de presupuesto, especialmente para flujos de trabajo en ingeniería de software, operaciones cibernéticas y otros dominios que usan herramientas. Un modelo que parece mediocre bajo un presupuesto de una sola pasada puede volverse viable si se le permite razonar durante más tiempo o reintentar con más frecuencia.

Para los compradores de IA empresarial, esto complica las comparaciones entre proveedores. Dos proveedores pueden citar victorias en benchmarks que no son directamente comparables si se lograron con distintos techos de computación. Los equipos de compras deberían pedir no solo puntuaciones en SWE-Bench Pro, TerminalBench 2.0 o HealthBench, sino también los presupuestos de tokens, la latencia, las políticas de reintento y los permisos de herramientas usados para producirlas.

Para el trabajo de seguridad y políticas, el estudio llega a un punto aún más delicado. Si las evaluaciones de capacidades dañinas en ciberseguridad se están realizando con presupuestos que truncán el rendimiento, las evaluaciones de riesgo pueden quedarse por detrás de la realidad desplegable. El enfoque del UK AI Security Institute en tareas de ciberseguridad sugiere que el problema no es meramente académico. La capacidad de alto presupuesto podría llegar a ser alcanzable en el mundo real a medida que la inferencia se abarate y mejoren las herramientas de orquestación.

La implicación más amplia para el mercado es que la evaluación quizá necesite pasar de puntuaciones estáticas a curvas de capacidad. Eso será más desordenado y costoso que los rankings actuales, pero puede reflejar mejor cómo se usan realmente los modelos frontier dentro de los productos.

Qué observar a continuación

La próxima señal clave es si el UK AI Security Institute publica el documento subyacente, los métodos y las configuraciones de benchmark con suficiente detalle como para permitir la replicación externa. Sin eso, la afirmación principal seguirá siendo importante, pero más difícil de auditar.

Una segunda señal es la adopción por parte de quienes mantienen benchmarks y por los laboratorios. Si pruebas como SWE-Bench Pro, Humanity's Last Exam o HealthBench empiezan a informar del rendimiento en rangos de presupuesto en lugar de dar números únicos, el argumento del instituto tendrá influencia inmediata.

Tercero, hay que vigilar a los proveedores de modelos. Si los laboratorios empiezan a destacar curvas de rendimiento condicionadas al presupuesto en lugar de estimaciones puntuales, eso indicará que el mercado acepta que la computación en tiempo de prueba forma parte de la capacidad, y no solo de un ajuste de ejecución.

Por último, hay que vigilar los precios empresariales y los patrones de despliegue. A medida que bajen los costes de los tokens, más clientes podrían elegir agentes de IA de ejecución más larga para programación y flujos de trabajo de ciberseguridad. Si eso ocurre, la diferencia entre “capacidad de benchmark” y “capacidad desplegada” podría estrecharse rápidamente.

Perspectiva de Creati.ai

El UK AI Security Institute está señalando un punto ciego que la industria de la IA ha tolerado porque los benchmarks de una sola cifra son fáciles de publicar y comparar. Pero los agentes de IA no son predictores estáticos. Son sistemas que buscan, verifican y se recuperan de errores, y esos comportamientos están fuertemente moldeados por cuánta computación se les permite consumir.

Para desarrolladores y compradores, la conclusión práctica no es “gastar siempre más tokens”. Es que la evaluación debe reflejar el régimen operativo que realmente importa. En ingeniería de software y ciberseguridad, donde los agentes de IA pueden beneficiarse de la iteración y la retroalimentación, el presupuesto forma parte del producto. Si la práctica de los benchmarks no consigue captar eso, tanto las decisiones comerciales como los juicios de seguridad seguirán llegando tarde.