Como o viés algorítmico em ferramentas de IA para contratação pode replicar a discriminação no local de trabalho

As empresas usam cada vez mais software baseado em aprendizado de máquina para rastrear currículos, classificar candidatos e até realizar entrevistas em estágios iniciais. Pesquisadores e reguladores descobriram que vários desses sistemas produzem resultados diferentes para candidatos de diferentes gêneros, raças ou idades, mesmo quando as qualificações subjacentes são idênticas.

O que é viés algorítmico na contratação?

O viés algorítmico ocorre quando as saídas de um sistema de aprendizado de máquina sistematicamente favorecem ou prejudicam certos grupos, independentemente das qualificações relevantes para o trabalho. Comentários públicos sobre um projeto de padrão do Instituto Nacional de Padrões e Tecnologia (NIST) dos EUA, SP 1270, 'Em direção a um padrão para identificar e gerenciar viés em inteligência artificial', publicado no site do NIST, descrevem isso como um problema socio-técnico: o viés pode entrar não apenas através do design estatístico de um algoritmo, mas através dos dados históricos em que é treinado e do contexto humano e institucional em que é implantado.

Na contratação especificamente, um modelo é geralmente treinado em currículos anteriores, decisões de contratação anteriores ou texto gerado por um modelo de linguagem grande (LLM). Se a força de trabalho que produziu esses dados históricos fosse em si enviesada por gênero, raça ou idade — uma característica comum em muitos setores — o modelo pode aprender a reproduzir esse viés como se fosse uma medida de mérito.

Um caso documentado: o mecanismo de recrutamento descartado da Amazon

Um dos exemplos mais antigos e mais citados envolve uma ferramenta experimental de recrutamento que a Amazon construiu a partir de 2014 para classificar candidatos de um a cinco estrelas, de acordo com a American Civil Liberties Union (ACLU). O sistema foi treinado observando padrões nos currículos que a empresa havia recebido ao longo de aproximadamente uma década, um conjunto que era predominantemente masculino, refletindo o domínio masculino nos cargos técnicos envolvidos.

O ACLU relata que a ferramenta penalizava currículos contendo a palavra 'mulheres' — por exemplo, 'equipe de rúgbi feminino' — e rebaixava graduados de dois colégios exclusivamente para mulheres, enquanto favorecia currículos que usavam verbos mais comuns em currículos técnicos masculinos, como 'executado' e 'capturado.' Os engenheiros da Amazon tentaram corrigir o padrão, mas, de acordo com o relato do ACLU sobre o projeto, concluíram que o problema subjacente não podia ser garantido e encerraram a ferramenta em 2015, aproximadamente um ano após começar a ser testada.

O que a pesquisa reciente sobre triagem de currículo por IA encontrou

Pesquisas mais recentes testaram os modelos de linguagem grande agora incorporados em muitos produtos comerciais de contratação. Um estudo da Universidade de Washington apresentado em outubro de 2024 na Conferência AAAI/ACM sobre Inteligência Artificial, Ética e Sociedade testou três LLMs de código aberto — do Mistral AI, Salesforce e Contextual AI — atribuindo 120 nomes associados a homens e mulheres brancos e negros a mais de 550 currículos reais e os classificando contra mais de 500 ofertas de emprego reais em nove ocupações, produzindo mais de três milhões de comparações currículo-para-trabalho.

A autora principal Kyra Wilson e a coautora Aylin Caliskan, ambas da Escola de Informação da Universidade de Washington, descobriram que currículos com nomes associados a brancos foram favorecidos 85% das vezes em comparação com 9% para nomes associados a negros, e nomes associados a homens foram preferidos 52% das vezes em comparação com 11% para nomes associados a mulheres. Os modelos nunca favoreceram nomes associados a homens negros sobre nomes de homens brancos, um padrão que os pesquisadores disseram se tornar visível apenas quando raça e gênero foram analisados juntos em vez de separadamente.

Principais descobertas em resumo

Como o mecanismo de viés funciona

Em cada caso documentado, o padrão remonta a dados de treinamento ou associações que o modelo absorveu do texto em que foi treinado, em vez de uma instrução explícita para discriminar. A ferramenta da Amazon aprendeu com um conjunto de candidatos historicamente masculino. Os LLMs testados por pesquisadores da Universidade de Washington carregavam associações raciais e de gênero baseadas em nomes do corpus de texto mais amplo em que foram treinados.

Comentários sobre o projeto de padrão de viés do NIST observam que porque esses sistemas operam dentro de estruturas sociais e institucionais existentes, remover viés do conjunto de dados sozinho não garante um resultado justo — uma conclusão que corresponde à própria experiência da Amazon, conforme descrita pelo ACLU, quando tentativas repetidas de correção dos engenheiros não conseguiram resolver o padrão subjacente.

Como os reguladores estão respondendo

A Lei Local 144 de Nova York, aplicada pelo Departamento de Proteção do Consumidor e Trabalhador desde julho de 2023, exige que empregadores que usem uma 'ferramenta automatizada de decisão de emprego' para contratação ou promoção contratem uma auditoria de viés independente anual, publiquem publicamente um resumo dos resultados da auditoria e deem aos candidatos pelo menos dez dias úteis de aviso antes de a ferramenta ser usada, de acordo com o resumo da medida da empresa de advocacia Pivot Point Security. Violações podem resultar em multas civis variando de $500 a $1.500 por violação, de acordo com o mesmo resumo.

O Conselho de Direitos Civis da Califórnia adotou novos regulamentos sob a Lei de Habitação e Emprego Justo do estado, efetivos em 1º de outubro de 2025, esclarecendo que o uso de um empregador de um 'sistema automatizado de decisão' pode violar a lei estadual se prejudicar candidatos ou funcionários com base em características protegidas como raça, gênero ou deficiência, de acordo com o anúncio do Conselho de junho de 2025. Os regulamentos exigem que os empregadores retenham dados de decisão automatizados por pelo menos quatro anos e observam que certas avaliações automatizadas que solicitam informações relacionadas a deficiências podem contar como perguntas médicas ilegais.

O que isso significa para candidatos a emprego e empregadores

• O viés encontrado na IA de contratação até o momento rastreou padrões sociais existentes nos dados de treinamento — currículos históricos, imagens on-line ou texto de propósito geral — em vez de aparecer aleatoriamente.
• Efeitos documentados incluem favorecer currículos de grupos demográficos historicamente dominantes e produzir resultados sistematicamente diferentes para qualificações subjacentes idênticas.
• Nova York e Califórnia agora impõem obrigações legais específicas — auditorias, retenção de registros ou ambas — aos empregadores que usam essas ferramentas, embora os requisitos variem por jurisdição.
• Pesquisadores da Universidade de Washington dizem que o viés identificado em uma categoria demográfica (por exemplo, apenas raça) pode mascarar efeitos diferentes visíveis apenas quando as categorias são combinadas, como raça e gênero juntos.