Selon METR, les progrès des modèles d’Anthropic ont presque doublé, l’IA étant à l’origine de l’essentiel de l’accélération
Selon METR, les progrès des modèles d’Anthropic ont presque doublé, le travail assisté par l’IA représentant environ 80 % de l’accélération rapportée.
Les capacités des modèles d’Anthropic semblent s’améliorer à un rythme environ deux fois supérieur au rythme précédent, selon les articles consacrés à une nouvelle estimation du groupe Model Evaluation and Threat Research (METR). Ces articles attribuent également environ 80 % de cette accélération au travail assisté par l’IA, une conclusion qui pourrait raviver le débat sur la question de savoir si l’IA modifie déjà le rythme de la recherche en IA elle-même.
Cette affirmation a été rapportée par MLQ.ai et Unite.AI, qui ont décrit l’estimation de METR en des termes similaires. Les sources disponibles ne comprennent ni la publication originale de METR, ni sa méthodologie, ni les données de référence utilisées pour le calcul. Le résultat est donc important, mais provisoire : il doit être considéré comme un résultat de recherche rapporté, et non comme une mesure entièrement vérifiée de manière indépendante du processus de développement interne d’Anthropic.
Ce que disent les articles
La conclusion centrale est que la croissance des capacités des modèles d’Anthropic a « environ doublé » ou « presque doublé », selon la formulation retenue par les deux articles. Ceux-ci affirment en outre que l’IA représente environ 80 % de l’augmentation observée de la vitesse des progrès.
Ces chiffres renvoient à deux affirmations liées. La première concerne la vitesse à laquelle les modèles d’Anthropic s’améliorent. La seconde concerne la cause de cette évolution : le travail assisté par l’IA est présenté comme le contributeur dominant, plutôt que comme une simple aide marginale à la productivité.
Les éléments fournis pour cet article n’indiquent pas quels modèles d’Anthropic ont été évalués, quelles capacités METR a mesurées ni quelle période a servi de référence. Ils n’établissent pas non plus si l’estimation s’applique à l’ensemble du développement des modèles ou à une catégorie plus étroite de tâches de recherche et d’ingénierie.
Cette distinction est importante. Une hausse plus rapide du score lors d’une évaluation donnée ne signifierait pas automatiquement que chaque aspect du développement des modèles s’est accéléré dans la même proportion. De même, une estimation selon laquelle l’IA a contribué aux résultats de recherche ne montrerait pas nécessairement que l’IA a produit de manière indépendante les avancées sous-jacentes.
Pourquoi cette estimation compte pour les développeurs d’IA
Si l’interprétation rapportée se confirme, la recherche assistée par l’IA deviendrait un facteur plus important de la compétition entre modèles. Les équipes développant des modèles de fondation pourraient utiliser des systèmes d’IA internes pour générer du code, concevoir des expériences, déboguer, documenter, analyser des données et évaluer les résultats. L’amélioration de ces flux de travail pourrait réduire le délai entre une idée et un résultat testé.
Pour les équipes produit et les fondateurs, la leçon pertinente concerne moins un résultat particulier d’Anthropic que la boucle de rétroaction qu’il suggère. De meilleurs modèles peuvent aider les chercheurs à construire de meilleurs modèles, qui peuvent ensuite améliorer les outils utilisés lors du cycle de développement suivant. Même une automatisation partielle pourrait augmenter le nombre d’expériences réalisables ou réduire le temps d’ingénierie nécessaire pour étudier un résultat négatif.
Les effets commerciaux ne seraient pas répartis uniformément. Les grands laboratoires disposant de capacités de calcul importantes, de données propriétaires et de systèmes d’évaluation matures pourraient être mieux placés pour tirer parti du travail assisté par l’IA que les petites équipes. Dans le même temps, les assistants de programmation largement disponibles et les agents d’IA pourraient permettre à de petites équipes d’automatiser certaines étapes de leurs processus de recherche et de développement produit sans reproduire toute l’infrastructure d’un laboratoire de pointe.
Pour les acheteurs d’IA en entreprise, cette affirmation rappelle aussi qu’il faut distinguer la qualité du modèle de la productivité de l’organisation. Un modèle plus performant peut améliorer les outils internes de développement, mais les gains dépendront des processus de contrôle, des restrictions d’accès, de la reproductibilité et de la capacité à détecter les erreurs qui semblent plausibles. Itérer plus vite n’est utile que si les équipes peuvent déterminer quels résultats sont fiables.
Éléments de preuve et limites de l’affirmation
Les affirmations numériques les plus fortes de cet article sont attribuées à METR par l’intermédiaire des articles de MLQ.ai et Unite.AI. Dans les extraits disponibles, aucun de ces deux médias n’a fourni de citation directe, de lien vers l’analyse originale de METR ou les définitions techniques nécessaires pour reproduire l’estimation.
Plusieurs questions restent donc sans réponse. METR mesure peut-être la progression des capacités au moyen d’un cadre d’évaluation spécifique, plutôt que de chercher à quantifier toutes les dimensions des progrès de recherche d’Anthropic. La formule « l’IA est à l’origine d’environ 80 % de l’accélération » peut également désigner un modèle d’attribution fondé sur des flux de travail observés, des enquêtes auprès de chercheurs, des comparaisons historiques ou une autre méthode. Sans la documentation originale, les lecteurs ne peuvent pas évaluer le calcul de ce pourcentage.
Le résultat ne doit donc pas être considéré comme la preuve que les modèles d’Anthropic progressent à un rythme uniforme, que l’IA a effectué 80 % de la recherche concernée ou que le même schéma s’applique à OpenAI, Google, Meta ou aux développeurs de modèles plus petits. Il s’agit d’une estimation rapportée, et les éléments disponibles ici sont trop limités pour en valider la portée.
Cette prudence est particulièrement importante, car les évaluations de capacités peuvent être sensibles au choix des tâches, à la conception de l’évaluation et aux changements dans la manière dont les modèles sont sollicités ou utilisés. Une accélération mesurée peut refléter une véritable hausse de la productivité de la recherche, de meilleurs outils, de meilleures données, davantage de calcul ou une combinaison de ces facteurs.
Ce qu’il faut surveiller ensuite
Le prochain signal important sera la publication originale de METR. Les chercheurs et les développeurs devront examiner la définition de l’évaluation, la période étudiée, les systèmes d’Anthropic inclus et la méthode utilisée pour attribuer les gains au travail assisté par l’IA.
Un deuxième signal sera la réplication de l’estimation dans d’autres laboratoires et familles de tâches. Des éléments comparables issus d’études indépendantes pourraient montrer si l’accélération rapportée est propre à Anthropic ou si elle fait partie d’une évolution plus large de la productivité de la recherche en IA.
Troisièmement, il faudra surveiller les preuves opérationnelles fournies par les développeurs de modèles : cycles d’expérimentation plus courts, suites d’évaluation automatisées plus importantes, utilisation accrue d’assistants de programmation ou nouveaux agents d’IA internes pour les flux de recherche. Ces indices ne prouveraient pas à eux seuls l’estimation de METR, mais ils pourraient montrer comment les équipes de pointe tentent de transformer les capacités des modèles en vitesse de développement.
Enfin, les entreprises devraient suivre les indicateurs de fiabilité parallèlement aux affirmations de productivité. Si le travail assisté par l’IA augmente la production tout en alourdissant les contrôles, les risques de sécurité ou les problèmes de reproductibilité, le bénéfice net pourrait être inférieur à ce que suggère le chiffre annoncé.
Le point de vue de Creati.ai
L’estimation rapportée par METR est importante, car elle attire l’attention sur une source moins visible des progrès de l’IA : l’utilisation de l’IA au sein des organisations qui construisent des systèmes d’IA. Si l’attribution est solide, la concurrence pourrait dépendre de plus en plus non seulement de l’architecture des modèles et de la puissance de calcul, mais aussi de la manière dont les équipes intègrent efficacement l’IA à la recherche, à l’ingénierie et à l’évaluation.
Le chiffre principal mérite toutefois de rester accueilli avec prudence. L’analyse sous-jacente n’étant pas disponible dans les éléments fournis, la conclusion la plus défendable est que METR a rapporté une accélération potentiellement importante, et non que le secteur a établi une loi universelle du progrès porté par l’IA. Les développeurs devraient attendre la méthodologie avant de transformer cette estimation en hypothèse de planification.
