Como os algoritmos de IA desenvolvem viés e quais salvaguardas existem para pará-lo

Os sistemas de inteligência artificial são cada vez mais usados para selecionar candidatos a emprego, avaliar inscrições de empréstimos, moderar conteúdo online e sinalizar suspeitos para a polícia. Quando esses sistemas produzem resultados sistematicamente desiguais para grupos particulares, pesquisadores e reguladores chamam o resultado de viés algorítmico. A questão de como esse viés se forma e o que pode ser feito a respeito passou de artigos acadêmicos para salas de reuniões corporativas e legislaturas.

De onde vem o viés

Um relatório de 2022 do Instituto Nacional de Padrões e Tecnologia (NIST) dos EUA, intitulado Special Publication 1270, concluiu que o viés de IA não é apenas um problema de dados. Os autores do relatório identificam três fontes distintas de viés em sistemas de IA.

• Viés computacional e estatístico — decorrente de dados de treinamento ou algoritmos que não são representativos da população que o sistema afetará.
• Viés humano — introduzido quando designers, rotuladores ou usuários aplicam informações incompletas ou estereótipos ao construir ou operar o sistema.
• Viés sistêmico — práticas institucionais existentes e desigualdades históricas que são codificadas em um sistema simplesmente porque estão presentes nos registros de que aprende.

A pesquisadora-chefe do NIST, Reva Schwartz, disse que as organizações frequentemente recorrem a correções técnicas estreitas que não capturam o viés originário do contexto social mais amplo em que a IA é construída e implementada, de acordo com o resumo da agência sobre o relatório.

Dois casos documentados

A Amazon construiu uma ferramenta experimental de triagem de currículos a partir de 2014, treinando-a em aproximadamente uma década de currículos que a empresa havia recebido. Como o setor de tecnologia historicamente empregou muito mais homens do que mulheres, a maioria desses currículos de treinamento veio de candidatos homens. De acordo com reportagens da MIT Technology Review, o sistema ensinou a si mesmo a penalizar currículos que continham a palavra "women's" e rebaixou graduados de duas faculdades exclusivamente femininas. Os engenheiros da Amazon tentaram corrigir o padrão, mas em 2017 a empresa perdeu confiança de que a ferramenta fosse neutra em relação ao gênero em outros aspectos e parou de usá-la.

Um estudo separado de 2018 chamado Gender Shades, conduzido por Joy Buolamwini do MIT Media Lab e Timnit Gebru, então na Microsoft Research, testou três sistemas comerciais de análise facial em um conjunto de dados de mais de 1.200 imagens classificadas por tom de pele usando a escala de Fitzpatrick. De acordo com o resumo da MIT News dos achados, as taxas de erro para homens de pele mais clara nunca ultrapassaram 0,8%, enquanto as taxas de erro para mulheres de pele mais escura variaram de 20,8% a 34,7%, chegando até 46,8% para as mulheres de pele mais escura em um sistema.

Quais salvaguardas existem

A Lei de IA da União Europeia, formalmente Regulação (UE) 2024/1689, entrou em vigor em 1º de agosto de 2024, e é descrita pela Comissão Europeia como o primeiro marco legal abrangente para IA em todo o mundo. Para sistemas classificados como de alto risco —incluindo aqueles usados em emprego, educação e identificação biométrica— a regulação exige que os fornecedores usem dados de treinamento, validação e teste de qualidade suficiente para minimizar o risco de resultados discriminatórios, e que coloquem medidas de avaliação de risco e mitigação antes do sistema chegar ao mercado, de acordo com a descrição da Comissão. A Comissão afirma que as obrigações para sistemas de alto risco utilizados em áreas sensíveis como emprego e biometria tornam-se aplicáveis em 2 de dezembro de 2027, com regras para IA incorporada em produtos regulados seguindo em 2 de agosto de 2028.

Nos Estados Unidos, a própria resposta do NIST aos seus achados sobre viés foi recomendar uma abordagem "socio-técnica": abordando viés humano e sistêmico juntamente com viés computacional, envolvendo especialistas fora da engenharia e consultando comunidades afetadas, em vez de depender apenas de correções técnicas, de acordo com o resumo do relatório da agência.

Por que isso importa agora

Plataformas de contratação, ferramentas de pontuação de crédito e sistemas de moderação de conteúdo agora são comuns em muitos setores, o que significa que os tipos de erros documentados nos casos da Amazon e Gender Shades podem afetar um grande número de pessoas antes que alguém perceba um padrão. Os prazos escalonados da Lei de IA da UE até 2028, e as orientações contínuas do NIST sobre gerenciamento de viés, indicam que a supervisão desses sistemas ainda está sendo construída em vez de estar já completa.