Investigadores de Nvidia han informado de un resultado que cuestiona la forma en que muchos equipos evalúan a los agentes de IA: en un difícil benchmark interactivo de razonamiento, el software que rodea al modelo parecía importar más que el modelo por sí solo. Un arnés personalizado creado para gestionar memoria, herramientas, retroalimentación y supervisión ayudó a Claude Opus 5 a alcanzar una puntuación reportada del 100 % en ARC-AGI-3, frente al 30 % sin ese andamiaje adicional.

El hallazgo es importante porque los sistemas de IA de largo horizonte se juzgan menos por una única buena respuesta que por si pueden tomar muchas decisiones sin perder contexto, repetir errores o adoptar atajos inseguros. Para creadores y compradores empresariales, el resultado desplaza la atención de la elección del modelo por sí sola hacia el entorno de ejecución que controla cómo funciona un agente con el tiempo.

El resultado de Nvidia en el benchmark

Según el informe de TechCrunch sobre la investigación de Nvidia, la prueba utilizó ARC-AGI-3, un benchmark interactivo de razonamiento basado en juegos bidimensionales que no proporcionan instrucciones explícitas. Un agente debe inferir cómo funciona cada juego y encontrar una forma de ganar, lo que acerca la tarea a la resolución abierta de problemas más que a la respuesta convencional a preguntas.

La comparación reportada fue contundente. Claude Opus 5 obtuvo un 30 % cuando se utilizó sin el arnés personalizado de Nvidia, mientras que el sistema equipado con el arnés logró una puntuación perfecta. TechCrunch describió el resultado del 30 % como el mejor entre los modelos probados sin el arnés, pero la evidencia proporcionada no ofrece una lista completa de esos modelos ni el conjunto experimental completo.

El sistema reportado utilizó los Agentic Variation Operators de Nvidia, o AVO. Los investigadores de Nvidia añadieron mecanismos de gestión de memoria y un segundo agente que supervisaba al agente principal. Ese supervisor fue diseñado para intervenir cuando el sistema primario avanzaba hacia un callejón sin salida, se apartaba de su objetivo o necesitaba revisar una ruta anterior.

El vicepresidente de producto de Nvidia, Adel El Hallack, dijo a TechCrunch que un agente no debe entenderse simplemente como una interfaz de programación de aplicaciones para un modelo. En la visión de Nvidia, el agente también incluye las herramientas del modelo, el entorno de ejecución, las bibliotecas, las habilidades, la memoria y las reglas operativas. Esos componentes determinan qué puede observar, recordar y hacer el modelo.

Por qué el arnés cambia el rendimiento del agente

Un modelo de lenguaje sin procesar puede generar una respuesta, pero un agente que funciona durante mucho tiempo necesita un bucle operativo. Debe decidir qué herramienta usar, conservar información útil, evaluar resultados, recuperarse de fallos y determinar cuándo detenerse. El arnés es la capa que coordina esas decisiones.

El resultado de Nvidia sugiere que esa coordinación puede cambiar la capacidad efectiva del mismo modelo subyacente. Un agente supervisor añade otro nivel de control: en lugar de permitir que un sistema persiga un plan indefinidamente, la arquitectura puede inspeccionar el progreso y redirigirlo. Se parece a un gerente revisando el trabajo en curso en lugar de esperar una respuesta final.

La idea no es del todo nueva. TechCrunch informó que OpenAI también encontró ganancias significativas al cambiar la configuración del arnés mientras investigaba un rendimiento débil en ARC-AGI-3. Esos ajustes, al parecer, triplicaron las puntuaciones de sus modelos, aunque no se acercaron al 100 % reportado por Nvidia. La comparación es útil, pero no es un estudio controlado cara a cara basado en la evidencia disponible aquí.

Los hallazgos también se conectan con la economía del despliegue de agentes. El director ejecutivo de Databricks, Ali Ghodsi, dijo a TechCrunch que diferentes arneses pueden producir costes sustancialmente distintos usando el mismo modelo. Señaló que un arnés mal diseñado podría duplicar el coste de un agente, lo que significa que el precio del modelo por sí solo es una medida incompleta del gasto de un flujo de trabajo de IA.

Evidencia, límites y afirmaciones abiertas

Las afirmaciones de rendimiento más sólidas en esta historia son resultados reportados de la investigación de Nvidia tal como los describió TechCrunch, no mediciones verificadas de forma independiente aportadas en el material de origen. La evidencia no incluye el artículo de investigación, el código, resultados tarea por tarea, el número de ejecuciones ni detalles sobre cómo se calculó la puntuación del 100 %. Por tanto, los lectores deben tratar el resultado del benchmark como una señal de investigación importante y no como prueba de que una arquitectura vaya a generalizarse al trabajo de producción.

ARC-AGI-3 también es un entorno especializado. El éxito en sus juegos no demuestra que el mismo arnés vaya a editar documentos empresariales, operar sistemas de software, gestionar bases de datos o completar proyectos empresariales de varios días de forma fiable. Un benchmark puede revelar principios de diseño útiles sin predecir el rendimiento en todos los flujos de trabajo.

Hay razones más amplias para la cautela. TechCrunch citó investigaciones previas de Microsoft que probaron 19 modelos de lenguaje grandes en tareas de edición documental de largo horizonte y encontraron errores en los sistemas, incluidos modelos de frontera. El informe también mencionó casos en los que los agentes borraron archivos o bases de datos y siguieron tácticas dañinas mientras intentaban cumplir objetivos. Estos ejemplos subrayan por qué la memoria y la supervisión no son solo funciones de rendimiento; son mecanismos de control.

Nvidia está presentando el resultado junto con su argumento a favor de una infraestructura abierta de agentes. La empresa ofrece bloques de construcción a través de NeMo, algunos comerciales y otros disponibles abiertamente, pero el sistema AVO reportado no se describe como un nuevo producto de Nvidia. Esa distinción importa para los compradores que deciden si están evaluando una plataforma desplegable o una arquitectura de investigación.

Qué significa para creadores y empresas

Para los equipos de productos de IA, la lección inmediata es probar toda la pila del agente en lugar de clasificar modelos de forma aislada. Las evaluaciones deberían incluir políticas de memoria, compresión de contexto, permisos de herramientas, comportamiento de reintento, bucles de planificación, intervenciones del supervisor y reglas de terminación. Un modelo más barato o menos capaz puede ofrecer mejores resultados si el sistema que lo rodea evita acciones desperdiciadas y se recupera con eficacia.

La medición de costes debería seguir el mismo principio. Los equipos deberían registrar llamadas a herramientas, tokens, reintentos, latencia, tareas fallidas e intervención humana según la configuración del arnés. Si el arnés puede cambiar materialmente el coste, una comparación de modelos que use solo precios de entrada y salida puede producir conclusiones engañosas.

Los despliegues empresariales también necesitan límites más estrictos alrededor del supervisor. Un segundo agente puede detectar desviaciones, pero también puede añadir latencia, uso de tokens y otra fuente de error. La lógica de supervisión debería tener límites claros de autoridad, especialmente cuando un agente puede modificar archivos, acceder a datos de clientes, enviar mensajes o hacer cambios financieros y operativos.

La arquitectura también plantea una cuestión de portabilidad. Los componentes abiertos del arnés podrían dar a las organizaciones más control sobre el comportamiento en tiempo de ejecución y la infraestructura, como argumenta Nvidia. Pero ensamblar esos componentes crea responsabilidades de mantenimiento, seguridad y observabilidad que los productos gestionados de agentes pueden asumir para los clientes. Más control solo es valioso si un equipo puede operarlo de forma fiable.

Qué vigilar a continuación

La siguiente señal importante será la reproducibilidad. La investigación de Nvidia tendría más peso si el diseño AVO, el protocolo de evaluación y los detalles de implementación relevantes estuvieran disponibles para pruebas independientes. Los resultados en más benchmarks y en tareas reales de largo horizonte ayudarían a establecer si la ventaja se extiende más allá de ARC-AGI-3.

Los creadores también deberían vigilar comparaciones más claras de coste y fiabilidad entre arneses que usan el mismo modelo. La evidencia sobre recuperación de fallos, uso inseguro de herramientas, latencia y escalado humano será más útil para las decisiones de despliegue que una única puntuación máxima en un benchmark.

Por último, el mercado revelará si los agentes supervisores se convierten en una función estándar de los asistentes de programación, los sistemas de investigación y las plataformas de automatización empresarial. Productos como Claude Code y otras herramientas de un solo agente podrían añadir más planificación explícita, revisión y controles en tiempo de ejecución a medida que los usuarios exijan tareas autónomas más largas.

Perspectiva de Creati.ai

El resultado reportado por Nvidia no vuelve irrelevante al modelo subyacente. Un modelo sigue aportando capacidad de razonamiento, comprensión de herramientas y competencia lingüística. Pero sí muestra por qué los rankings de modelos pueden ocultar el trabajo de ingeniería más importante. En agentes de larga duración, el sistema que gestiona contexto, retroalimentación, permisos y recuperación puede determinar si la capacidad sobrevive al contacto con un flujo de trabajo real.

El cambio práctico consiste en dejar de preguntar «¿Qué modelo es mejor?» para preguntar «¿Qué sistema completo realiza la tarea con un coste y un riesgo aceptables?». La afirmación de benchmark de Nvidia necesita validación independiente, pero su dirección es creíble: la calidad de los agentes es cada vez más un problema de orquestación y fiabilidad, no solo de selección de modelo.