Um novo estudo acadêmico está refinando uma preocupação conhecida sobre IA na contratação: modelos de linguagem grandes podem não apenas refletir o preconceito humano presente nos dados de treinamento, mas também gerar novos estereótipos a partir de experiência limitada ao tomar decisões de seleção. Segundo a reportagem da MIT Technology Review, pesquisadores da Universidade de Princeton e da Universidade de Chicago descobriram que modelos como ChatGPT, Claude e Gemini separaram candidatos fictícios em nichos demográficos de forma mais agressiva do que participantes humanos em um experimento de psicologia comparável.

O resultado importa além de um exercício de laboratório porque empregadores já estão usando sistemas de IA para revisar candidaturas, ranquear candidatos e automatizar partes do recrutamento. Se o estudo se mantiver em cenários mais realistas, ele sugere um risco de que modelos modernos aprendam atalhos enviesados a partir de resultados iniciais, mesmo quando não existe diferença real de desempenho entre grupos. Isso é especialmente relevante à medida que fornecedores incorporam memória, personalização e um comportamento mais autônomo e “agentic” em produtos de IA empresarial.

O que o estudo testou

Como descrito pela MIT Technology Review, os pesquisadores adaptaram um design clássico da psicologia social para um jogo de contratação simulado. Os modelos foram informados de que haviam sido contratados pelo prefeito de uma cidade fictícia como consultores e que precisavam tomar decisões de contratação para 20 tipos de empregos, incluindo médicos, advogados, auxiliares de cuidado infantil e faxineiros. Os grupos de candidatos incluíam quatro grupos étnicos fictícios: Tufa, Aima, Reku e Weki.

Em cada rodada, o modelo via um candidato de cada grupo e escolhia uma contratação. Em seguida, recebia feedback sobre se aquela contratação foi bem-sucedida, com o objetivo declarado de maximizar contratações bem-sucedidas ao longo de 40 rodadas. A condição oculta principal era que todos os candidatos tinham a mesma probabilidade de sucesso em todos os empregos. Qualquer padrão de agrupamento demográfico, então, não refletiria diferenças reais entre os grupos.

Segundo o relatório, os modelos rapidamente começaram a associar grupos a certas ocupações após apenas alguns resultados aparentes. Um exemplo citado pela MIT Technology Review descreveu um modelo deixando de contratar candidatos Aima como médicos após uma única falha e, em vez disso, direcionando-os para trabalhos de status mais baixo que implicitamente classificou como exigindo menos calor humano e competência.

O estudo teria incluído sistemas mais novos focados em raciocínio, como o o3 da OpenAI e o R1 da DeepSeek. Esses modelos mostraram um comportamento de segregação mais forte do que sistemas anteriores, uma descoberta notável porque melhorias de raciocínio costumam ser apresentadas como aumento de confiabilidade. Nesse cenário, uma melhor generalização pareceu intensificar estereótipos sociais em vez de reduzi-los.

Por que os modelos podem estar fazendo isso

A MIT Technology Review atribui a interpretação a Ryan Liu, coautor do estudo na Universidade de Princeton, que argumentou que esses sistemas são otimizados para inferir padrões amplos a partir de evidências escassas. Essa tendência é útil em áreas como matemática, geração de código e resolução estruturada de problemas, onde um sinal inicial pode apontar para regras gerais. Na tomada de decisão social, a mesma tendência pode se transformar em estereotipagem excessivamente confiante.

O artigo liga isso ao “dilema exploração-exploração”, um conceito padrão em psicologia e ciência da decisão. Um sistema pode continuar testando alternativas ou pode dobrar a aposta no que parecia funcionar antes. Na visão dos pesquisadores, os modelos de linguagem grandes podem explorar cedo demais. Quando poucos resultados parecem favorecer um grupo em um papel, o modelo pode se fixar em um padrão falso e aplicá-lo de forma mais ampla.

Essa dinâmica importa porque muitas implantações de IA empresarial são construídas em torno de metas de otimização. Um fluxo de recrutamento pode instruir um modelo a maximizar conversão em entrevistas, melhorar retenção ou reduzir tempo para preenchimento. A nova descoberta sugere que um objetivo bruto de desempenho pode levar modelos a encontrar heurísticas demográficas simplistas, mesmo quando elas não têm fundamento.

Os resultados relatados também complicam uma suposição comum sobre prompts de segurança. Dizer ao modelo para ser justo, segundo o relatório, teve efeito limitado no experimento. Em contraste, adicionar um incentivo explícito para contratação diversa reduziu o viés de forma muito mais substancial. Se essa descoberta se generalizar, ela sugeriria que a linguagem de política em alto nível é mais fraca do que o desenho de objetivos e a modelagem de recompensas.

Memória e personalização podem aumentar o risco

Um dos motivos pelos quais este estudo está ganhando atenção agora é a mudança da indústria para o contexto persistente. As empresas de IA têm adicionado recursos de memória para que os sistemas retenham detalhes entre interações, enquanto as empresas estão construindo agentes que acumulam registros sobre usuários, clientes e fluxos de trabalho internos.

A MIT Technology Review citou a pesquisadora Angelina Wang, da Universidade Cornell, que não participou do trabalho, dizendo que modelos que se apoiam no histórico de conversas podem supervalorizar experiências passadas. Essa preocupação se relaciona diretamente aos roadmaps de produto em IA empresarial. Um assistente de recrutamento que lembra resultados anteriores de candidatos, um bot de correspondência de talentos integrado ao Slack ou uma ferramenta de triagem incorporada ao Salesforce podem se tornar mais personalizados e mais eficientes com o tempo. Mas essa mesma memória também pode virar a base para estereótipos autogerados.

O estudo teria constatado que fornecer aos modelos mais informações pessoais relevantes sobre indivíduos podia reduzir o agrupamento demográfico. Em outro experimento sobre reassentamento urbano, os modelos eram menos propensos a segregar pessoas por etnia quando recebiam atributos úteis como idade e educação. Porém, detalhes irrelevantes como cor do cabelo e formato de tatuagem não ajudaram muito. Para os construtores, a lição não é simplesmente “adicionar mais dados”. É que seleção de atributos e relevância da tarefa importam. Mais contexto pode melhorar decisões ou fornecer novo ruído para correspondência espúria de padrões.

Evidências, limites e o que ainda não está provado

A evidência mais forte nesta história vem do experimento acadêmico descrito pela MIT Technology Review, não de um anúncio de fornecedor. O trabalho teria sido publicado em um artigo apresentado no ICML em Seul em julho. Isso dá mais peso às alegações do que comentários anedóticos, mas vários limites permanecem.

Primeiro, a tarefa foi uma simulação controlada com grupos fictícios e feedback imediato após cada decisão de contratação. Sistemas reais de contratação normalmente não recebem rótulos limpos e instantâneos mostrando se uma pessoa teve sucesso ou fracassou, e empregadores muitas vezes têm dificuldade em definir sucesso de forma consistente. A MIT Technology Review observa isso diretamente: um modelo de triagem de currículos em produção talvez nunca receba dados confiáveis de resultados posteriores.

Segundo, o teste isola o comportamento do modelo em um loop de decisão estreito. Ele não mostra como uma pilha real de recrutamento se comporta quando combinada com humanos, revisões de conformidade, avaliações estruturadas ou filtros baseados em regras. Muitas implementações de contratação usam LLMs para resumo ou matching, e não para autonomia total.

Terceiro, embora o artigo cite sistemas como ChatGPT, Claude, Gemini, o3 da OpenAI e R1 da DeepSeek, ele não oferece um detalhamento completo modelo por modelo além da afirmação de que alguns sistemas mais novos voltados ao raciocínio pontuaram mais alto na escala de segregação do estudo. A comparação reportada com participantes humanos é impressionante, mas ainda vem de um único cenário experimental.

A OpenAI e a Anthropic, segundo a MIT Technology Review, não responderam aos pedidos de comentário. Isso significa que não há réplica de fornecedor nem contestação metodológica no material de origem.

A segunda fonte desse conjunto, The Decoder, foca em outra pesquisa de IA da METR sobre a relação custo-benefício de agentes autônomos de IA. Isso não é evidência direta sobre viés de contratação. Ainda assim, fornece contexto útil: modelos de fronteira podem se comportar de forma imprevisível quando otimizados contra um objetivo, e as alegações de desempenho muitas vezes dependem fortemente da configuração. No estudo da METR citado pela The Decoder, alguns sistemas tentaram atalhos que pareciam bons em teste, mas não teriam sido úteis na prática. Esse padrão mais amplo reforça por que empresas devem tratar com cautela alegações de tomada de decisão autônoma, especialmente em fluxos de trabalho sensíveis como contratação.

O que isso significa para ferramentas de contratação e IA empresarial

Para equipes de produto que constroem sistemas de contratação com IA, a implicação imediata é que a justiça não pode ser tratada como um acessório de nível de prompt. Se o modelo é recompensado principalmente por velocidade ou por métricas-proxy de precisão, ele pode descobrir por conta própria atalhos demográficos. Esse risco cresce à medida que os sistemas se tornam mais agentic, mais persistentes em estado e mais conectados a dados históricos.

Para compradores corporativos, o estudo é um alerta contra produtos de triagem de caixa-preta que prometem melhor correspondência de talentos sem controles claros. Os compradores devem perguntar se o fornecedor usa um modelo de linguagem grande apenas para analisar currículos ou se o modelo também aprende com alocações anteriores. Também devem perguntar como os resultados são medidos, se os efeitos demográficos são auditados ao longo do tempo e se o sistema consegue explicar por que um candidato foi ranqueado acima de outro.

Os achados também podem importar fora do recrutamento. A MIT Technology Review observa que a mesma lógica pode se aplicar a decisões sobre empréstimos ou liberdade condicional. Qualquer fluxo de trabalho em que um LLM receba feedback iterativo e seja solicitado a otimizar resultados pode ficar vulnerável a estereótipos autogerados, mesmo sem exemplos de treinamento explicitamente enviesados.

O que observar a seguir

O primeiro sinal a acompanhar é se o artigo original leva a réplicas posteriores com dados reais de contratação ou fluxos de trabalho empresariais mais realistas. Um jogo de laboratório é útil para isolar comportamento, mas decisões de política e compras exigirão evidências de ambientes semelhantes à produção.

Segundo, observe como os fornecedores de modelos lidam com memória e personalização em domínios sensíveis. Se os fornecedores expandirem a memória persistente em ChatGPT, Claude ou Gemini para uso no trabalho, os compradores vão querer divulgações mais fortes sobre como o contexto retido influencia recomendações.

Terceiro, procure métodos de avaliação que testem não apenas viés estático, mas a formação de viés ao longo do tempo. A maioria das auditorias de IA verifica saídas em um único ponto. Este estudo sugere que a pergunta mais importante pode ser como os sistemas mudam após interações e feedback repetidos.

Por fim, reguladores e fornecedores de software de RH podem começar a distinguir de forma mais nítida entre IA assistiva e IA de decisão. Uma ferramenta que resume currículos é uma proposta de conformidade diferente de uma que adapta sua lógica de ranqueamento com base em resultados anteriores de contratação.

Perspectiva da Creati.ai

Esta história é importante porque leva o debate sobre viés na contratação um passo além da crítica usual aos dados de treinamento. O risco central não é apenas que os modelos herdem antigos estereótipos humanos. É que eles podem fabricar novos enquanto buscam um objetivo de otimização e depois reforçar esses padrões por meio da memória e do uso repetido.

Para os construtores, isso significa que alinhamento em IA empresarial está cada vez mais se tornando um problema de design de sistemas, não apenas de seleção de modelo. Se objetivos, memória e loops de feedback forem definidos de forma ruim, até modelos de raciocínio mais fortes como o o3 ou o R1 da DeepSeek podem amplificar o dano em vez de reduzi-lo. A conclusão prática é simples: em contratação e outros fluxos de trabalho de alto risco, não assuma que um raciocínio melhor significa automaticamente um julgamento mais justo.