Come gli Algoritmi di IA Sviluppano Pregiudizi e Quali Salvaguardie Esistono per Arrestarli

I sistemi di intelligenza artificiale sono sempre più utilizzati per vagliare le domande di lavoro, valutare le domande di prestito, moderare i contenuti online e contrassegnare i sospetti per la polizia. Quando questi sistemi producono risultati sistematicamente ineguali per determinati gruppi, i ricercatori e i regolatori chiamano il risultato distorsione algoritmica. La questione di come si forma questa distorsione e cosa si può fare al riguardo è passata dagli articoli accademici ai consigli di amministrazione e alle legislature.

Da dove viene la distorsione

Un rapporto del 2022 del U.S. National Institute of Standards and Technology (NIST), intitolato Special Publication 1270, ha concluso che la distorsione dell'IA non è solo un problema di dati. Gli autori del rapporto identificano tre fonti distinte di distorsione nei sistemi di IA.

• Distorsione computazionale e statistica – derivante da dati di addestramento o algoritmi che non sono rappresentativi della popolazione che il sistema colpirà.
• Distorsione umana – introdotta quando designer, annotatori o utenti applicano informazioni incomplete o stereotipi durante la costruzione o il funzionamento del sistema.
• Distorsione sistemica – le pratiche istituzionali esistenti e le disuguaglianze storiche che vengono codificate in un sistema semplicemente perché sono presenti nei registri da cui esso impara.

Reva Schwartz, investigatore principale di NIST, ha affermato che le organizzazioni spesso ricorrono a correzioni tecniche ristrette che non riescono a catturare la distorsione originaria dal più ampio contesto sociale in cui l'IA viene costruita e distribuita, secondo il riepilogo dello stesso rapporto dell'agenzia.

Due casi documentati

Amazon ha costruito uno strumento sperimentale di screening dei curriculum a partire dal 2014, addestandolo su circa un decennio di curriculum che l'azienda aveva ricevuto. Poiché il settore tecnologico ha storicamente impiegato molti più uomini che donne, la maggior parte di questi curriculum di addestramento proveniva da candidati maschi. Secondo il rapporto di MIT Technology Review, il sistema ha imparato a penalizzare i curriculum che contenevano la parola "donne" e ha retrocesso i laureati di due college esclusivamente femminili. Gli ingegneri di Amazon hanno tentato di correggere il modello, ma nel 2017 l'azienda aveva perso fiducia che lo strumento fosse imparziale da genere in altri aspetti e ha smesso di usarlo.

Uno studio separato del 2018 chiamato Gender Shades, condotto da Joy Buolamwini del MIT Media Lab e Timnit Gebru, allora a Microsoft Research, ha testato tre sistemi commerciali di analisi facciale su un set di dati di oltre 1.200 immagini classificate per tonalità della pelle utilizzando la scala di Fitzpatrick. Secondo il riepilogo dei risultati di MIT News, i tassi di errore per gli uomini con la pelle più chiara non hanno mai superato lo 0,8%, mentre i tassi di errore per le donne con la pelle più scura variavano dal 20,8% al 34,7%, raggiungendo fino al 46,8% per le donne con la pelle più scura in un sistema.

Quali salvaguardie esistono

La legge dell'Unione Europea sull'intelligenza artificiale, formalmente il Regolamento (UE) 2024/1689, è entrata in vigore il 1° agosto 2024 ed è descritta dalla Commissione europea come il primo quadro legale completo per l'IA a livello mondiale. Per i sistemi classificati come ad alto rischio – inclusi quelli utilizzati in occupazione, educazione e identificazione biometrica – il regolamento richiede ai fornitori di utilizzare dati di addestramento, validazione e test di qualità sufficiente per minimizzare il rischio di risultati discriminatori e di implementare misure di valutazione e mitigazione del rischio prima che il sistema raggiunga il mercato, secondo la descrizione delle regole della stessa Commissione. La Commissione afferma che gli obblighi per i sistemi ad alto rischio utilizzati in aree sensibili come l'occupazione e la biometria diventano applicabili il 2 dicembre 2027, con regole per l'IA incorporata nei prodotti regolamentati seguendo il 2 agosto 2028.

Negli Stati Uniti, la risposta di NIST alle sue scoperte sulla distorsione è stata quella di consigliare un approccio "socio-tecnico": affrontare la distorsione umana e sistemica insieme alla distorsione computazionale coinvolgendo esperti al di fuori dell'ingegneria e consultando comunità colpite, piuttosto che fare affidamento solo su correzioni tecniche, secondo il riepilogo del rapporto dell'agenzia.

Perché è importante ora

Le piattaforme di assunzione, gli strumenti di valutazione del credito e i sistemi di moderazione dei contenuti sono ora comuni in molti settori, il che significa che i tipi di errori documentati nei casi Amazon e Gender Shades possono colpire un gran numero di persone prima che qualcuno noti uno schema. I termini sfalsati della legge dell'UE sull'intelligenza artificiale fino al 2028 e la guida continua sulla gestione della distorsione di NIST indicano che la supervisione di questi sistemi è ancora in fase di costruzione piuttosto che già completata.