Na próxima vez que você se candidatar a uma vaga, uma IA poderá analisar seu currículo antes que qualquer pessoa o veja. Mas há bons motivos para questionar se a IA fará uma avaliação justa. Pesquisadores já sabem que os LLMs absorvem vieses humanos de seus dados de treinamento. Uma nova pesquisa sugere que os LLMs também podem desenvolver os próprios vieses com base na experiência e estereotipar candidatos a vagas mais do que os humanos. À medida que as empresas de IA correm para desenvolver modelos agênticos capazes de se lembrar dos menores detalhes sobre os usuários, elas podem estar lhes fornecendo munição para formar esses vieses.
Pesquisadores da Universidade de Princeton e da Universidade de Chicago submeteram LLMs, incluindo ChatGPT, Claude e Gemini, a um jogo simulado de contratação, adaptado de um estudo de psicologia que investigou como os humanos podem formar estereótipos. Cada modelo foi informado de que havia sido contratado como consultor pelo prefeito de uma cidade fictícia e, em seguida, recebeu a tarefa de ajudar a contratar pessoas para 20 profissões, incluindo médicos, advogados, auxiliares de cuidados infantis e zeladores. Os candidatos pertenciam a quatro grupos étnicos fictícios: Tufa, Aima, Reku e Weki.
Em cada rodada, havia uma nova vaga e quatro candidatos, um de cada grupo. Depois de contratar um candidato, o modelo era informado se essa pessoa havia se saído bem no trabalho e passava para a rodada seguinte. O modelo recebeu a instrução de fazer o maior número possível de contratações bem-sucedidas ao longo de 40 rodadas. Sem que os modelos soubessem, todos os candidatos tinham a mesma probabilidade de obter sucesso em qualquer trabalho.
Os modelos rapidamente começaram a separar candidatos de diferentes grupos em diferentes profissões com base nas primeiras observações sobre os resultados das contratações. Por exemplo, quando um modelo era informado de que uma pessoa do grupo Aima havia fracassado como médico, profissão considerada como exigindo altos níveis de cordialidade e competência, ele passava a evitar a contratação de todas as pessoas Aima como médicas. Em vez disso, começava a contratar pessoas Aima como zeladoras, função que o modelo classificava como exigindo menos cordialidade e competência do que a de médico. Modelos mais recentes com maior capacidade de raciocínio, como o modelo o3, da OpenAI, e o R1, da DeepSeek, apresentaram vieses mais acentuados.
Os modelos apresentaram uma probabilidade ainda maior de estereotipar pessoas com base no grupo demográfico do que os participantes humanos do estudo original. Na escala de segregação do estudo, em que 2 significa que cada grupo foi completamente confinado ao próprio nicho profissional, os participantes humanos obtiveram uma pontuação de 0,84. Os modelos pontuaram cerca de 65% a mais, com o modelo de raciocínio o3, da OpenAI, alcançando 1,83, próximo do máximo possível.
Isso ocorre porque os LLMs “têm muita propensão a criar generalizações a partir de dados limitados”, afirma Ryan Liu, doutorando na Universidade de Princeton e coautor do estudo, publicado em um artigo apresentado na ICML, em Seul, em julho. “Isso é, literalmente, grande parte daquilo para o qual eles são otimizados.”
Todo tomador de decisão, humano ou máquina, enfrenta um dilema entre manter aquilo que funcionou antes e experimentar algo novo que possa funcionar melhor, um fenômeno que os psicólogos chamam de “dilema entre exploração e aproveitamento”. É como escolher entre um restaurante novo e o seu favorito de confiança.
Como os LLMs são treinados com problemas de matemática, programação e ciências, tarefas que recompensam a generalização a partir de poucos exemplos, eles podem se prender cedo demais a um palpite. E o mesmo instinto que ajuda os LLMs a resolver quebra-cabeças de lógica também faz com que sejam rápidos em criar estereótipos. Quando os LLMs se apressam em generalizar em contextos sociais, “é aí que as coisas tendem a dar errado”, afirma Liu. A OpenAI e a Anthropic não responderam aos pedidos de comentário.
A descoberta é especialmente relevante agora que os chatbots estão ganhando recursos aprimorados de memória e personalização, afirma Angelina Wang, cientista da computação da Universidade Cornell que não participou do estudo. Quando um chatbot recorre ao histórico de conversas anteriores, ele pode “dar peso excessivo aos mesmos tipos de comportamento que vivenciou antes” e formar vieses, explica.
No entanto, fazer com que os chatbots simplesmente se lembrem de menos coisas não é uma solução, porque os usuários querem que eles se lembrem do que dizem. “Ainda estamos tentando descobrir a quantidade certa, que não seja nem demais nem de menos”, afirma Wang.
Dizer ao modelo para agir de maneira justa pouco alterou seu comportamento. “Ou ele não consegue colocar esses valores em prática, ou esse processo está sendo sufocado pela tendência de tentar otimizar o objetivo de realizar o maior número possível de contratações corretas”, afirma Liu. No entanto, prometer aos modelos um bônus adicional por contratações diversificadas fez com que se tornassem muito menos enviesados. O segredo, portanto, é elaborar objetivos que “incorporem valores sociais desejáveis para fazer com que o grande modelo de linguagem aja de maneiras socialmente desejáveis”, afirma Liu.
Os modelos também se tornaram menos enviesados quando receberam mais informações pessoais sobre os indivíduos. Em outro experimento do mesmo estudo, os pesquisadores pediram aos modelos que reassentassem integrantes de diferentes grupos étnicos em cidades do Canadá. Quando receberam informações pessoais relevantes para a capacidade de adaptação a uma nova cidade, como idade e escolaridade, os modelos apresentaram menor probabilidade de segregar as pessoas de acordo com sua etnia. Mas, quando receberam informações irrelevantes, como a cor do cabelo e o formato de uma tatuagem, voltaram, em grande parte, a classificar as pessoas de acordo com sua etnia.
Ainda não se sabe até que ponto os sistemas de IA estereotiparão candidatos a vagas no mundo real. Embora os modelos do experimento descobrissem imediatamente se haviam realizado contratações bem-sucedidas, um modelo que analisa currículos no mundo real não recebe uma avaliação instantânea. As empresas podem levar muito tempo para descobrir se uma nova contratação é realmente boa, caso algum dia descubram.
Mas, quando esse retorno finalmente chega, um modelo ainda pode atribuir importância excessiva aos resultados ao realizar contratações futuras. À medida que as empresas adotam cada vez mais os LLMs para analisar currículos e até mesmo conduzir entrevistas, a descoberta de que os modelos podem formar vieses a partir de sua experiência com contratações “é uma implicação realmente séria com a qual elas deveriam lidar”, afirma Wang.
À medida que os LLMs aprendem com a experiência a tomar decisões sobre quem é contratado, quem recebe um empréstimo ou quem obtém liberdade condicional, os vieses com os quais devemos nos preocupar podem incluir aqueles que nenhum ser humano jamais lhes ensinou. “Esses novos vieses estão, de certa forma, sempre presentes”, afirma Liu.
O post A IA é mais propensa do que os humanos a desenvolver vieses ao contratar apareceu primeiro em MIT Technology Review - Brasil.