Come i pregiudizi algoritmici negli strumenti di assunzione dell'IA possono replicare la discriminazione sul luogo di lavoro

Le aziende utilizzano sempre più software basato su machine learning per esaminare curriculum, classificare candidati e persino condurre interviste iniziali. Ricercatori e autorità di regolamentazione hanno scoperto che diversi di questi sistemi producono risultati diversi per candidati di generi, razze o età diverse, anche quando le qualifiche sottostanti sono identiche.

Che cos'è il pregiudizio algoritmico nell'assunzione?

Il pregiudizio algoritmico si verifica quando gli output di un sistema di machine learning favoriscono o svantaggiano sistematicamente certi gruppi, indipendentemente dalle qualifiche rilevanti per il lavoro. I commenti pubblici su una bozza di standard del National Institute of Standards and Technology (NIST) degli Stati Uniti, SP 1270, 'Towards a Standard for Identifying and Managing Bias in Artificial Intelligence', pubblicato sul sito web del NIST, descrivono questo come un problema socio-tecnico: il pregiudizio può entrare non solo attraverso il design statistico di un algoritmo, ma anche attraverso i dati storici su cui viene addestrato e il contesto umano e istituzionale in cui viene distribuito.

Nel reclutamento nello specifico, un modello è solitamente addestrato su curriculum passati, decisioni di assunzione passate o testo generato da un grande modello linguistico (LLM). Se la forza lavoro che ha prodotto questi dati storici era essa stessa distorta per genere, razza o età – una caratteristica comune in molti settori – il modello può imparare a riprodurre quella distorsione come se fosse una misura di merito.

Un caso documentato: il motore di reclutamento scartato di Amazon

Uno dei primi e più ampiamente citati esempi riguarda uno strumento di reclutamento sperimentale che Amazon ha costruito a partire dal 2014 per valutare i candidati a un lavoro da uno a cinque stelle, secondo l'American Civil Liberties Union (ACLU). Il sistema è stato addestrato osservando gli schemi nei curriculum che l'azienda aveva ricevuto nel corso di circa un decennio, un insieme che era prevalentemente maschile, riflettendo il dominio maschile nei ruoli tecnici coinvolti.

L'ACLU riferisce che lo strumento ha penalizzato i curriculum contenenti la parola 'women's' – ad esempio, 'women's rugby team' – e ha declassato le laureate di due college esclusivamente femminili, mentre favoriva i curriculum che utilizzavano verbi più comuni nei curriculum tecnici maschili, come 'executed' e 'captured'. Gli ingegneri di Amazon hanno tentato di correggere lo schema, ma, secondo il resoconto dell'ACLU sulla relazione del progetto, hanno concluso che il problema sottostante non poteva essere garantito e hanno chiuso lo strumento nel 2015, circa un anno dopo che ha iniziato ad essere testato.

Cosa ha rivelato la ricerca recente sulla selezione dei curriculum tramite IA

Ricerche più recenti hanno testato i grandi modelli linguistici ora incorporati in molti prodotti di assunzione commerciali. Uno studio dell'Università di Washington presentato nell'ottobre 2024 alla conferenza AAAI/ACM Conference on Artificial Intelligence, Ethics and Society ha testato tre LLM open source – da Mistral AI, Salesforce e Contextual AI – assegnando 120 nomi associati a uomini e donne bianchi e neri a più di 550 curriculum reali e classificandoli rispetto a oltre 500 offerte di lavoro reali in nove occupazioni, producendo più di tre milioni di confronti curriculum-lavoro.

L'autore principale Kyra Wilson e la coautrice Aylin Caliskan, entrambi presso l'Information School dell'Università di Washington, hanno scoperto che i curriculum con nomi associati al bianco erano favoriti l'85% delle volte rispetto al 9% per i nomi associati al nero, e i nomi associati al sesso maschile erano preferiti il 52% delle volte rispetto all'11% per i nomi associati al sesso femminile. I modelli non hanno mai favorito i nomi associati agli uomini neri rispetto ai nomi degli uomini bianchi, uno schema che i ricercatori hanno detto è diventato visibile solo quando la razza e il genere sono stati analizzati insieme piuttosto che separatamente.

Principali risultati a colpo d'occhio

Come funziona il meccanismo del pregiudizio

In ogni caso documentato, lo schema risale ai dati di addestramento o alle associazioni che il modello ha assorbito dal testo su cui è stato addestrato, piuttosto che a un'istruzione esplicita di discriminare. Lo strumento di Amazon ha imparato da un pool di candidati storicamente maschile. I modelli linguistici di grandi dimensioni testati dai ricercatori dell'Università di Washington portavano associazioni razziali e di genere basate sul nome dai corpora di testo più ampi su cui sono stati addestrati.

I commenti sullo standard di pregiudizio in bozza del NIST notano che poiché questi sistemi operano all'interno di strutture sociali e istituzionali esistenti, rimuovere il pregiudizio dal dataset da solo non garantisce un risultato equo – una conclusione che corrisponde all'esperienza diretta di Amazon, come descritto dall'ACLU, quando i ripetuti tentativi di correzione degli ingegneri non hanno risolto lo schema sottostante.

Come stanno rispondendo i regolatori

La Local Law 144 di New York City, applicata dal Department of Consumer and Worker Protection dal luglio 2023, richiede ai datori di lavoro che utilizzano uno 'strumento decisionale automatizzato per l'impiego' per l'assunzione o la promozione di commissionare un audit di pregiudizio indipendente annualmente, pubblicare pubblicamente un riepilogo dei risultati dell'audit e dare ai candidati almeno dieci giorni lavorativi di preavviso prima dell'uso dello strumento, secondo il riepilogo della misura da parte dello studio legale Pivot Point Security. Le violazioni possono comportare sanzioni civili che vanno da $500 a $1.500 per violazione, secondo lo stesso riepilogo.

Il Civil Rights Council della California ha adottato nuove normative ai sensi del Fair Employment and Housing Act dello stato, in vigore dal 1º ottobre 2025, chiarendo che l'uso da parte di un datore di lavoro di un 'sistema decisionale automatizzato' può violare la legge statale se causa danno ai candidati o ai dipendenti in base a caratteristiche protette come razza, genere o disabilità, secondo l'annuncio del Council di giugno 2025. Le normative richiedono ai datori di lavoro di conservare i dati di decisione automatizzata per almeno quattro anni e notano che alcune valutazioni automatizzate che estraggono informazioni relative alle disabilità potrebbero contare come inchieste mediche illegittime.

Cosa significa questo per i candidati e i datori di lavoro

• I pregiudizi riscontrati nell'IA di assunzione finora hanno tracciato gli schemi sociali esistenti nei dati di addestramento – curriculum storici, immagini online o testo di uso generale – piuttosto che apparire a caso.
• Gli effetti documentati includono il favore ai curriculum di gruppi demografici storicamente dominanti e la produzione di risultati sistematicamente diversi per qualifiche sottostanti identiche.
• New York City e la California ora impongono obblighi legali specifici – audit, conservazione dei record o entrambi – ai datori di lavoro che utilizzano questi strumenti, anche se i requisiti differiscono per giurisdizione.
• I ricercatori dell'Università di Washington affermano che il pregiudizio identificato in una categoria demografica (ad esempio, solo razza) può mascherare effetti diversi visibili solo quando le categorie sono combinate, come razza e genere insieme.