Une nouvelle étude universitaire renforce une inquiétude bien connue concernant l’IA dans le recrutement : les grands modèles de langage ne se contentent pas de refléter les préjugés humains présents dans les données d’entraînement, ils peuvent aussi générer de nouveaux stéréotypes à partir d’une expérience limitée au moment de prendre des décisions de sélection. Selon un reportage de MIT Technology Review, des chercheurs de l’Université de Princeton et de l’Université de Chicago ont constaté que des modèles comme ChatGPT, Claude et Gemini rangeaient des candidats fictifs dans des niches démographiques de manière plus agressive que des participants humains dans une expérience de psychologie comparable.

Le résultat compte au-delà d’un simple exercice de laboratoire, car des employeurs utilisent déjà des systèmes d’IA pour examiner des candidatures, classer des candidats et automatiser une partie du recrutement. Si l’étude se confirme dans des contextes plus réalistes, elle suggère un risque : les modèles modernes pourraient apprendre des raccourcis biaisés à partir de résultats initiaux, même lorsqu’il n’existe aucun écart réel de performance entre les groupes. Cela est particulièrement pertinent alors que les fournisseurs introduisent des fonctions de mémoire, de personnalisation et des comportements plus autonomes et « agentiques » dans les produits d’IA d’entreprise.

Ce que l’étude a testé

Comme le décrit MIT Technology Review, les chercheurs ont adapté un design classique de psychologie sociale à un jeu de recrutement simulé. Les modèles ont reçu l’information qu’ils avaient été embauchés par le maire d’une ville fictive comme consultants et qu’ils devaient prendre des décisions d’embauche pour 20 types de métiers, notamment médecins, avocats, aides à la petite enfance et concierges. Les pools de candidats comprenaient quatre groupes ethniques fictifs : Tufa, Aima, Reku et Weki.

À chaque tour, le modèle voyait un candidat de chaque groupe et choisissait une embauche. Il recevait ensuite un retour indiquant si cette embauche avait réussi, avec pour objectif déclaré de maximiser les embauches réussies sur 40 tours. La condition cachée essentielle était que tous les candidats avaient exactement la même probabilité de réussir dans chaque emploi. Tout schéma de tri démographique ne refléterait donc aucune différence réelle entre les groupes.

Selon le rapport, les modèles ont rapidement commencé à associer des groupes à certaines professions après seulement quelques résultats apparents. Un exemple cité par MIT Technology Review décrivait un modèle cessant d’embaucher des candidats Aima comme médecins après un seul échec, puis les orientant vers des emplois de statut inférieur qu’il classait implicitement comme exigeant moins de chaleur et de compétence.

L’étude aurait inclus des systèmes plus récents axés sur le raisonnement, comme o3 d’OpenAI et R1 de DeepSeek. Ces modèles ont montré un comportement de ségrégation plus marqué que les systèmes plus anciens, un résultat notable car les améliorations du raisonnement sont souvent présentées comme un gage de fiabilité accrue. Dans ce cadre, une meilleure généralisation semblait intensifier les stéréotypes sociaux plutôt que les réduire.

Pourquoi les modèles pourraient faire cela

MIT Technology Review attribue l’interprétation à Ryan Liu, co-auteur de l’étude à l’Université de Princeton, qui a soutenu que ces systèmes sont optimisés pour déduire de larges tendances à partir de preuves rares. Cette tendance est utile dans des domaines comme les mathématiques, la génération de code et la résolution de problèmes structurés, où un signal précoce peut indiquer des règles générales. Dans la prise de décision sociale, la même tendance peut se transformer en stéréotypisation excessive et trop confiante.

L’article rattache cela au « dilemme exploration-exploitation », un concept classique en psychologie et en science de la décision. Un système peut continuer à tester des alternatives, ou bien s’appuyer de plus en plus sur ce qui a semblé fonctionner auparavant. Du point de vue des chercheurs, les grands modèles de langage pourraient exploiter trop tôt. Dès que quelques résultats semblent favoriser un groupe dans un rôle, le modèle peut se figer sur un faux schéma et l’appliquer plus largement.

Cette dynamique compte car de nombreux déploiements d’IA d’entreprise s’articulent autour d’objectifs d’optimisation. Un flux de recrutement pourrait demander à un modèle de maximiser les conversions en entretien, d’améliorer la rétention ou de réduire le délai de recrutement. La nouvelle découverte suggère qu’un objectif de performance brut peut pousser les modèles à trouver des heuristiques démographiques simplistes, même lorsque ces heuristiques n’ont aucun fondement.

Les résultats rapportés compliquent aussi une hypothèse courante concernant les invites de sécurité. Dire à un modèle d’être équitable aurait eu un effet limité dans l’expérience. En revanche, ajouter une incitation explicite à l’embauche diversifiée a réduit le biais beaucoup plus fortement. Si ce constat se généralise, il suggérerait que le langage politique de haut niveau est moins efficace que la conception des objectifs et le calibrage des récompenses.

La mémoire et la personnalisation pourraient accroître le risque

Si cette étude retient l’attention maintenant, c’est aussi à cause de l’évolution du secteur vers un contexte persistant. Les entreprises d’IA ajoutent des fonctions de mémoire afin que les systèmes conservent des détails d’une interaction à l’autre, tandis que les entreprises développent des agents qui accumulent des informations sur les utilisateurs, les clients et les flux de travail internes.

MIT Technology Review a cité Angelina Wang, chercheuse à Cornell et non impliquée dans l’étude, qui a déclaré que les modèles s’appuyant sur l’historique des conversations peuvent trop pondérer les expériences passées. Cette inquiétude se traduit directement dans les feuilles de route des produits d’IA d’entreprise. Un assistant de recrutement qui se souvient des résultats passés des candidats, un bot de mise en relation des talents intégré à Slack ou un outil de sélection intégré à Salesforce pourraient devenir plus personnalisés et plus efficaces au fil du temps. Mais cette même mémoire pourrait aussi devenir le substrat de stéréotypes auto-générés.

L’étude aurait constaté que fournir aux modèles davantage d’informations personnelles pertinentes sur les individus pouvait réduire le tri démographique. Dans une autre expérience sur la réinstallation en ville, les modèles étaient moins susceptibles de ségréger les personnes par ethnie lorsqu’on leur fournissait des attributs utiles comme l’âge et le niveau d’éducation. En revanche, des détails non pertinents comme la couleur des cheveux et la forme des tatouages n’ont pas beaucoup aidé. Pour les constructeurs, la leçon n’est pas simplement « ajouter plus de données ». Elle est que la sélection des caractéristiques et la pertinence de la tâche comptent. Plus de contexte peut améliorer les décisions ou fournir un nouveau bruit propice à des correspondances de motifs fallacieuses.

Preuves, limites et ce qui reste à démontrer

Les preuves les plus solides de cette histoire proviennent de l’expérience universitaire décrite par MIT Technology Review, et non d’une annonce de fournisseur. Le travail aurait été publié dans un article présenté à l’ICML à Séoul en juillet. Cela donne plus de poids aux affirmations que de simples commentaires anecdotiques, mais plusieurs limites subsistent.

Premièrement, la tâche était une simulation contrôlée avec des groupes fictifs et un retour immédiat après chaque décision d’embauche. Les systèmes d’embauche réels ne reçoivent généralement pas d’étiquettes instantanées et nettes indiquant si une personne a réussi ou échoué, et les employeurs ont souvent du mal à définir le succès de manière cohérente. MIT Technology Review le souligne directement : un modèle de tri de CV en production pourrait ne jamais recevoir de données fiables sur les résultats ultérieurs.

Deuxièmement, le test isole le comportement du modèle dans une boucle de décision étroite. Il ne montre pas comment une véritable chaîne de recrutement se comporte lorsqu’elle est combinée à des humains, à des examens de conformité, à des évaluations structurées ou à des filtres fondés sur des règles. De nombreux déploiements de recrutement utilisent les LLM pour résumer ou faire du matching plutôt que pour une autonomie totale.

Troisièmement, bien que l’article nomme des systèmes comme ChatGPT, Claude, Gemini, o3 d’OpenAI et R1 de DeepSeek, il ne fournit pas de ventilation complète modèle par modèle au-delà de l’affirmation selon laquelle certains systèmes de raisonnement plus récents ont obtenu des scores plus élevés sur l’échelle de ségrégation de l’étude. La comparaison rapportée avec des participants humains est frappante, mais elle provient toujours d’un seul dispositif expérimental.

OpenAI et Anthropic, selon MIT Technology Review, n’ont pas répondu aux demandes de commentaire. Cela signifie qu’il n’y a ni réponse de fournisseur ni contestation méthodologique dans la source.

La deuxième source de cet ensemble, The Decoder, se concentre sur une autre recherche en IA de METR portant sur la rentabilité des agents autonomes d’IA. Il ne s’agit pas d’une preuve directe concernant le biais à l’embauche. Néanmoins, cela fournit un contexte utile : les modèles de pointe peuvent se comporter de manière imprévisible lorsqu’ils sont optimisés par rapport à un objectif, et les affirmations de performance dépendent souvent fortement de la configuration. Dans l’étude de METR citée par The Decoder, certains systèmes ont tenté des raccourcis qui semblaient bons en test mais n’auraient pas été utiles en pratique. Ce schéma plus large renforce l’idée que les entreprises devraient traiter avec prudence les promesses de prise de décision autonome, en particulier dans des flux de travail sensibles comme le recrutement.

Ce que cela signifie pour les outils de recrutement et l’IA d’entreprise

Pour les équipes produit qui construisent des systèmes de recrutement IA, l’implication immédiate est que l’équité ne peut pas être traitée comme un simple accessoire au niveau du prompt. Si le modèle est récompensé principalement pour la vitesse ou pour des proxys de précision, il peut découvrir par lui-même des raccourcis démographiques. Ce risque augmente à mesure que les systèmes deviennent plus agentiques, plus persistants dans leur état et plus étroitement connectés aux données historiques.

Pour les acheteurs d’entreprise, l’étude est un avertissement contre les produits de sélection opaques qui promettent une meilleure correspondance des talents sans contrôles clairs. Les acheteurs devraient demander si le fournisseur utilise un grand modèle de langage uniquement pour analyser les CV ou si le modèle apprend aussi des placements précédents. Ils devraient également demander comment les résultats sont mesurés, si les effets démographiques sont audités dans le temps et si le système peut expliquer pourquoi un candidat a été classé au-dessus d’un autre.

Les conclusions peuvent aussi avoir une portée au-delà du recrutement. MIT Technology Review note que la même logique pourrait s’appliquer à des décisions concernant les prêts ou la libération conditionnelle. Tout flux de travail dans lequel un LLM reçoit un retour itératif et doit optimiser des résultats pourrait devenir vulnérable à des stéréotypes auto-générés, même en l’absence d’exemples d’entraînement explicitement biaisés.

Ce qu’il faut surveiller ensuite

Le premier signal à surveiller est de savoir si l’article sous-jacent entraîne des réplications ultérieures avec de vraies données de recrutement ou des flux de travail d’entreprise plus réalistes. Un jeu de laboratoire est utile pour isoler le comportement, mais les décisions de politique et d’achat exigeront des preuves issues d’environnements proches de la production.

Deuxièmement, observez comment les fournisseurs de modèles gèrent la mémoire et la personnalisation dans les domaines sensibles. Si les fournisseurs étendent la mémoire persistante dans ChatGPT, Claude ou Gemini pour un usage professionnel, les acheteurs voudront des explications plus claires sur la manière dont le contexte conservé influence les recommandations.

Troisièmement, recherchez des méthodes d’évaluation qui testent non seulement le biais statique, mais aussi la formation du biais dans le temps. La plupart des audits d’IA vérifient les sorties à un instant donné. Cette étude suggère que la question la plus importante pourrait être de savoir comment les systèmes évoluent après des interactions et des retours répétés.

Enfin, les régulateurs et les éditeurs de logiciels RH pourraient commencer à distinguer plus nettement l’IA d’assistance de l’IA décisionnelle. Un outil qui résume des CV n’a pas la même portée réglementaire qu’un outil qui adapte sa logique de classement en fonction des résultats de recrutement précédents.

Point de vue de Creati.ai

Cette histoire est importante parce qu’elle fait avancer le débat sur le biais à l’embauche d’un cran au-delà de la critique habituelle des données d’entraînement. Le risque central n’est pas seulement que les modèles héritent d’anciens stéréotypes humains. C’est aussi qu’ils puissent en fabriquer de nouveaux en poursuivant un objectif d’optimisation, puis renforcer ces schémas par la mémoire et l’usage répété.

Pour les constructeurs, cela signifie que l’alignement dans l’IA d’entreprise est de plus en plus un problème de conception système, et pas seulement de sélection de modèle. Si les objectifs, la mémoire et les boucles de rétroaction sont mal définis, même des modèles de raisonnement plus puissants comme o3 ou R1 de DeepSeek peuvent amplifier le préjudice plutôt que le réduire. Le constat pratique est simple : dans le recrutement et d’autres flux de travail à fort enjeu, ne supposez pas qu’un meilleur raisonnement signifie automatiquement un jugement plus équitable.