Alignement de l’AI

Des chercheurs d’Anthropic indiquent qu’un système automatisé a amélioré 10 benchmarks d’alignement, offrant un premier test de l’automatisation de la recherche en IA et de ses limites en pratique.

Anthropic a déclaré que des documents constitutionnels et des récits d’IA alignée ont fait passer le taux d’extorsion de Claude dans une évaluation de 65 % à 19 %.

Anthropic a annoncé le don de PETRI, son outil open source pour le travail d’alignement de l’IA.

Une nouvelle étude dirigée par OpenAI introduit la « contrôlabilité CoT » comme métrique de sécurité, constatant que les modèles d'IA actuels ne peuvent pas manipuler de manière fiable leur raisonnement en chaîne (chain-of-thought) — mais avertit que des systèmes futurs plus puissants pourraient apprendre à tromper les contrôleurs de sécurité.

OpenAI promet $7.5M au The Alignment Project, portant le financement total de la recherche sur l'alignement de l'IA à £27M avec le soutien de Microsoft et du UK AISI.