Le PDG d’Anthropic expose un plan pour ralentir le développement de l’IA

Le PDG d’Anthropic, Dario Amodei, a appelé à un rythme plus lent pour le développement de l’IA de pointe, affirmant que les avancées récentes ont accru à la fois les capacités et les risques des systèmes en cours de construction. Il a proposé des évaluateurs indépendants au sein des principales entreprises d’IA, une coordination sur les normes de sécurité et des accords internationaux limités sur les usages dangereux.

Cette proposition marque une évolution, des avertissements généraux sur les risques de l’IA vers des mécanismes précis destinés à encadrer le développement. Le PDG d’OpenAI, Sam Altman, a déclaré qu’OpenAI était d’accord pour que les entreprises doivent « donner le rythme de la frontière » et a indiqué qu’elle adopterait des évaluateurs intégrés, sans toutefois fournir de plan de mise en œuvre détaillé. Le PDG de SpaceX, Elon Musk, a également soutenu publiquement la position d’Amodei.

Pourquoi Amodei appelle à ralentir l’IA de pointe

Dans un nouvel article de blog, Amodei a déclaré que deux événements l’avaient convaincu que les entreprises d’IA devraient adopter une approche plus prudente : le piratage OpenAI-HuggingFace signalé et ce qu’il a décrit comme une nette accélération des capacités de l’IA. Il a particulièrement insisté sur le fait que les systèmes deviennent meilleurs pour aider à construire la prochaine génération d’IA.

L’argument d’Amodei n’est pas d’abandonner le développement de l’IA. Il a plutôt déclaré que les entreprises devraient réduire la vitesse à laquelle les capacités des modèles progressent tout en utilisant le temps supplémentaire pour renforcer les pratiques de sécurité. Il a maintenu que l’IA pourrait améliorer considérablement la vie des gens, mais a soutenu que ces bénéfices dépendent du fait de construire et déployer la technologie avec plus de soin.

Le calendrier reflète aussi une pression croissante à l’intérieur et à l’extérieur des grands laboratoires d’IA. TechCrunch a rapporté que le chercheur d’Anthropic Jacob Coxon avait démissionné par crainte que les entreprises de premier plan prennent des risques inacceptables. L’article d’Amodei n’abordait pas explicitement cette démission, et les éléments disponibles n’établissent pas qu’elle ait directement déclenché sa proposition. Il montre toutefois que le débat sur la sécurité de l’IA est devenu plus visible, même au sein des organisations de modèles de pointe.

Des évaluateurs intégrés auraient un accès interne

La proposition la plus immédiate d’Amodei consiste à placer des évaluateurs de sécurité tiers au sein des entreprises d’IA de pointe. Il a cité des organisations comme METR, qui pourraient vérifier si les entreprises respectent leurs engagements en matière de rythme et de sécurité et aider à garantir que les incidents importants soient signalés.

Le dispositif proposé donnerait aux évaluateurs des badges d’entreprise, des espaces de travail, des ordinateurs portables et un accès largement comparable à celui des équipes internes d’évaluation des risques. Amodei a déclaré que des exceptions pourraient s’appliquer lorsque les lois ou les contrats l’exigent. Il a comparé ce modèle à des régulateurs travaillant à l’intérieur des institutions financières plutôt que de s’appuyer uniquement sur des divulgations a posteriori.

Anthropic s’engage « unilatéralement » dans cette approche, selon l’article d’Amodei. Altman a qualifié l’idée de bonne et a déclaré qu’OpenAI ferait de même, avec plus de détails à venir. Ces engagements restent des déclarations de dirigeants plutôt que des programmes opérationnels vérifiés de manière indépendante. Les éléments disponibles à ce stade ne précisent ni l’autorité des évaluateurs, ni leur structure de reporting, ni leur financement, ni leur capacité à publier des conclusions.

Cette distinction est importante pour les créateurs d’IA et les acheteurs d’entreprise. Un évaluateur ayant accès mais aucun pouvoir d’empêcher une mise en production peut offrir de la visibilité sans modifier les décisions. À l’inverse, une fonction d’examen réellement indépendante pourrait influencer les calendriers de lancement, les politiques d’accès, la réponse aux incidents et les éléments de preuve fournis aux clients avant le déploiement d’agents d’IA dans des flux de travail sensibles.

La coordination se heurte à la concurrence et aux barrières antitrust

Amodei a également proposé que les grandes entreprises d’IA des pays démocratiques coordonnent des normes de sécurité communes et des limites au progrès non maîtrisé. Il a reconnu que la coordination directe entre concurrents pourrait soulever des préoccupations antitrust, surtout si les entreprises semblent restreindre conjointement des produits ou ralentir la concurrence.

Sa solution consistait à ce que le gouvernement américain joue un rôle de médiation ou permette des discussions de sécurité strictement définies, avec une dérogation antitrust limitée. Une telle proposition exigerait des décideurs qu’ils distinguent la coopération technique en matière de sécurité des comportements anticoncurrentiels. Le matériel source n’indique pas qu’une telle dérogation existe ni que des gouvernements aient accepté d’en créer une.

Le défi géopolitique est tout aussi important. Les critiques d’un ralentissement du développement de l’IA soutiennent souvent que des restrictions pourraient permettre à la Chine de gagner du terrain. Amodei a répondu que des contrôles à l’exportation sur les puces puissantes et les équipements de fabrication de semi-conducteurs, combinés à des mesures plus strictes contre la distillation de modèles, pourraient creuser l’avance des États-Unis au cours des trois à cinq prochaines années.

Il s’agit de jugements stratégiques, et non de résultats établis. Ils dépendent de l’application, du rythme de l’innovation nationale, de la capacité de la Chine à remplacer les matériels et logiciels restreints, et de la volonté des gouvernements alliés de coordonner leurs actions. La proposition d’Amodei relie donc la politique de sécurité de l’IA à la politique industrielle et aux décisions de sécurité nationale, plutôt que de traiter le développement des modèles comme une question confinée aux laboratoires des entreprises.

La voie la plus étroite pourrait être des règles mondiales de sécurité

La dernière proposition d’Amodei concernait une coordination internationale entre les États-Unis, leurs alliés et les gouvernements autoritaires lorsque cela est possible. Il a reconnu que la coopération avec la Chine aurait des limites claires, mais a suggéré que les gouvernements pourraient tout de même se mettre d’accord sur un petit nombre d’applications manifestement dangereuses.

Il a cité la production d’armes biologiques assistée par l’IA comme exemple d’un domaine où une interdiction ciblée pourrait être plus réalisable qu’un large accord mondial sur le développement de l’IA. De telles règles ne résoudraient pas le débat plus large sur les capacités des modèles, mais elles pourraient créer des limites minimales autour des usages à fort enjeu.

Cette approche répond aussi à un problème plus large de confiance. Amodei a soutenu que le rejet public de l’IA reflète une méfiance envers les entreprises technologiques, le secteur technologique et les gouvernements. Des critiques de l’industrie, dont le journaliste Brian Merchant cité par TechCrunch, ont remis en question le fait que les scénarios apocalyptiques soient suffisamment étayés par des preuves étape par étape et ont averti que des propositions de sécurité à grande échelle pourraient renforcer la position de marché d’Anthropic et d’OpenAI.

Cette critique souligne un problème central de crédibilité : les entreprises qui demandent plus de supervision contribueraient aussi à définir les normes, les règles d’accès et les limites de rythme. Une gouvernance indépendante devrait empêcher la coordination de sécurité de devenir un mécanisme de capture réglementaire ou de protection des laboratoires en place contre de nouveaux concurrents.

Ce qu’il faut surveiller ensuite

Le signal le plus clair à court terme sera de savoir si OpenAI publie un plan concret pour des évaluateurs intégrés, notamment leur indépendance, leurs droits d’accès, leurs pouvoirs d’escalade et leurs obligations de signalement des incidents. La mise en œuvre d’Anthropic sera tout aussi importante ; un engagement public seul ne montrera pas si les évaluateurs peuvent influencer les décisions de déploiement.

La réponse des décideurs fournira un deuxième test. Surveillez les propositions concernant une protection antitrust étroite pour les discussions sur la sécurité, des exigences formelles de signalement des incidents et des règles encadrant l’accès au développement des modèles de pointe. Toute action gouvernementale révélera si les idées d’Amodei peuvent dépasser le stade des déclarations de dirigeants.

Les créateurs d’IA et les clients entreprise devraient également surveiller la manière dont ces engagements affectent le rythme des sorties, l’accès aux modèles, la documentation de sécurité et les restrictions sur les capacités à haut risque. Si le rythme devient opérationnel, les entreprises pourraient voir des mises à jour de modèles plus lentes mais des preuves plus solides concernant la fiabilité et les risques d’abus. S’il reste volontaire, la pression concurrentielle pour publier des systèmes toujours plus performants pourrait se poursuivre sans changement.

Perspective Creati.ai

L’annonce d’Amodei est importante parce qu’elle transforme l’expression « donner le rythme de la frontière » en un modèle opérationnel proposé : des évaluateurs externes dans les laboratoires, des discussions communes sur la sécurité et des règles internationales limitées. Mais la proposition en est encore au stade de l’engagement. Sa valeur dépendra du fait que les évaluateurs soient réellement indépendants et que les conclusions de sécurité puissent retarder ou modifier les lancements.

Pour le marché, la tension ne se joue pas simplement entre développement rapide et développement lent de l’IA. Elle oppose une vitesse qui reste difficile à auditer et une vitesse accompagnée d’une supervision crédible. Les créateurs et les acheteurs devraient considérer les dernières déclarations d’Anthropic et d’OpenAI comme des signaux d’évolutions des attentes en matière de gouvernance, et non encore comme la preuve que le développement de pointe a réellement ralenti.