METR afirma que el progreso de los modelos de Anthropic casi se ha duplicado, con la IA impulsando la mayor parte de la aceleración

Las capacidades de los modelos de Anthropic parecen estar mejorando aproximadamente al doble del ritmo anterior, según la cobertura de una nueva estimación del grupo Model Evaluation and Threat Research (METR). Los informes también atribuyen alrededor del 80 % de esa aceleración al trabajo asistido por IA, un hallazgo que podría intensificar el debate sobre si la IA ya está cambiando el ritmo de la propia investigación en IA.

La afirmación fue publicada por MLQ.ai y Unite.AI, que describieron la estimación de METR en términos similares. El material de fuentes disponible no incluye la publicación original de METR, su metodología ni los datos de referencia en los que se basa el cálculo. Por ello, el resultado es importante pero provisional: debe leerse como un hallazgo de investigación comunicado por terceros, no como una medida plenamente verificada de forma independiente del proceso interno de desarrollo de Anthropic.

Qué dicen los informes

El hallazgo central es que el crecimiento de las capacidades de los modelos de Anthropic se ha “duplicado aproximadamente” o “casi duplicado”, según la formulación empleada por cada informe. Los informes añaden que la IA representa aproximadamente el 80 % del aumento observado en la velocidad del progreso.

Estas cifras apuntan a dos afirmaciones relacionadas. La primera se refiere al ritmo al que mejoran los modelos de Anthropic. La segunda se refiere a la causa de ese cambio: el trabajo asistido por IA se presenta como el contribuyente dominante, y no como una ayuda menor a la productividad.

Las pruebas aportadas para este artículo no identifican qué modelos de Anthropic fueron evaluados, qué capacidades midió METR ni qué periodo se utilizó como referencia comparativa. Tampoco establecen si la estimación se aplica ampliamente al desarrollo de modelos o a una clase más limitada de tareas de investigación e ingeniería.

La distinción es importante. Un aumento más rápido de la puntuación en una evaluación definida no significaría automáticamente que todas las partes del desarrollo de modelos se hayan acelerado en la misma medida. Del mismo modo, una estimación de que la IA contribuyó a los resultados de investigación no demostraría necesariamente que la IA generó de forma independiente los avances subyacentes.

Por qué importa la estimación para quienes desarrollan IA

Si la interpretación comunicada es correcta, la investigación asistida por IA se convertiría en un factor más importante en la competencia entre modelos. Los equipos que desarrollan modelos fundacionales podrían utilizar sistemas internos de IA para generar código, diseñar experimentos, depurar, documentar, analizar datos y realizar evaluaciones. Las mejoras en esos flujos de trabajo podrían acortar el tiempo entre una idea y un resultado probado.

Para los equipos de producto y los fundadores, la lección relevante tiene menos que ver con un único resultado de Anthropic que con el ciclo de retroalimentación que sugiere. Los mejores modelos pueden ayudar a los investigadores a construir modelos mejores, que a su vez pueden mejorar las herramientas utilizadas en el siguiente ciclo de desarrollo. Incluso una automatización parcial podría aumentar el número de experimentos que un equipo puede ejecutar o reducir el tiempo de ingeniería necesario para investigar un resultado fallido.

Los efectos comerciales no se distribuirían de manera uniforme. Los grandes laboratorios con abundante capacidad de cómputo, datos propios y sistemas de evaluación maduros podrían estar mejor posicionados para extraer valor del trabajo asistido por IA que los equipos pequeños. Al mismo tiempo, los asistentes de programación disponibles ampliamente y los agentes de IA podrían permitir a grupos pequeños automatizar partes de sus procesos de investigación y producto sin reproducir toda la infraestructura de un laboratorio puntero.

Para los compradores de IA empresarial, la afirmación también recuerda que hay que separar la calidad del modelo de la productividad organizativa. Un modelo más capaz puede mejorar las herramientas internas de desarrollo, pero las ganancias dependerán de los procesos de revisión, los controles de acceso, la reproducibilidad y la capacidad de detectar errores de apariencia plausible. Iterar más rápido solo es útil si los equipos pueden determinar qué resultados son fiables.

Pruebas y límites de la afirmación

Las afirmaciones numéricas más contundentes de este artículo se atribuyen a METR a través de las informaciones de MLQ.ai y Unite.AI. En los extractos disponibles, ninguna de las dos fuentes proporcionó una cita directa, un enlace al análisis subyacente de METR ni las definiciones técnicas necesarias para reproducir la estimación.

Esto deja varias preguntas sin respuesta. METR podría estar midiendo el crecimiento de las capacidades mediante un marco de evaluación específico, en lugar de intentar cuantificar todas las dimensiones del progreso de investigación de Anthropic. La frase “la IA impulsa alrededor del 80 % de la aceleración” también podría describir un modelo de atribución basado en flujos de trabajo observados, encuestas a investigadores, comparaciones históricas u otro método. Sin la documentación original, los lectores no pueden evaluar cómo se calculó ese porcentaje.

Por tanto, el resultado no debe tratarse como prueba de que los modelos de Anthropic mejoran a un ritmo uniforme, de que la IA realizó el 80 % de la investigación pertinente o de que el mismo patrón se aplica a OpenAI, Google, Meta u otros desarrolladores de modelos. Es una estimación comunicada por terceros, y las pruebas disponibles aquí son demasiado limitadas para validar su alcance.

Esta cautela es especialmente importante porque las pruebas de capacidades pueden ser sensibles a la selección de tareas, el diseño de la evaluación y los cambios en la forma de indicar o utilizar los modelos. Una aceleración medida puede reflejar una productividad de investigación genuina, mejores herramientas, mejores datos, más cómputo o una combinación de factores.

Qué observar a continuación

La próxima señal importante será la publicación original de METR. Investigadores y desarrolladores deberían buscar la definición de la evaluación, el periodo analizado, los sistemas de Anthropic incluidos y el método utilizado para atribuir las mejoras al trabajo asistido por IA.

Una segunda señal será comprobar si la estimación se replica en otros laboratorios y familias de tareas. Evidencias comparables de estudios independientes podrían mostrar si la aceleración comunicada es específica de Anthropic o forma parte de un cambio más amplio en la productividad de la investigación en IA.

En tercer lugar, conviene observar pruebas operativas de los desarrolladores de modelos: ciclos de experimentación más cortos, conjuntos de evaluación automatizada más grandes, mayor uso de asistentes de programación o nuevos agentes internos de IA para los flujos de investigación. Estas señales no demostrarían por sí solas la estimación de METR, pero podrían mostrar cómo los equipos punteros intentan convertir la capacidad de los modelos en velocidad de desarrollo.

Por último, los equipos empresariales deberían vigilar las métricas de fiabilidad junto con las afirmaciones de productividad. Si el trabajo asistido por IA aumenta la producción, pero también eleva las cargas de revisión, los riesgos de seguridad o los problemas de reproducibilidad, el beneficio neto podría ser menor de lo que sugiere la cifra principal.

La perspectiva de Creati.ai

La estimación comunicada por METR importa porque centra la atención en una fuente menos visible del progreso de la IA: el uso de la IA dentro de las organizaciones que construyen sistemas de IA. Si la atribución es sólida, la competencia podría depender cada vez más no solo de la arquitectura de los modelos y el cómputo, sino también de la eficacia con la que los equipos integran la IA en la investigación, la ingeniería y la evaluación.

Pero la cifra principal merece cautela por ahora. Dado que el análisis subyacente no está disponible en las pruebas suministradas, la conclusión más defendible es que METR ha comunicado una aceleración potencialmente significativa, no que la industria haya establecido una ley universal del progreso impulsado por IA. Los desarrolladores deberían consultar la metodología antes de convertir la estimación en un supuesto de planificación.