Hoe algoritmische vooroordelen in AI-wervingstools werkplaatsdiscriminatie kunnen repliceren

Bedrijven gebruiken steeds vaker software op basis van machine learning om cv's te screenen, kandidaten in te delen en zelfs vroege gesprekken te voeren. Onderzoekers en regelgevers hebben vastgesteld dat meerdere van deze systemen verschillende resultaten opleveren voor sollicitanten van verschillende geslachten, rassen of leeftijden, zelfs wanneer de onderliggende kwalificaties identiek zijn.

Wat is algoritmische vooringenomenheid bij werving?

Algoritmische vooroordelen ontstaan wanneer de output van een machine-learningsysteem bepaalde groepen systematisch begunstigt of benadeelt, onafhankelijk van jobrelevante kwalificaties. Openbare opmerkingen op een ontwerp van een standaard van het Amerikaanse National Institute of Standards and Technology (NIST), SP 1270, 'Towards a Standard for Identifying and Managing Bias in Artificial Intelligence', gepubliceerd op de website van NIST, beschrijven dit als een socio-technisch probleem: vooroordelen kunnen niet alleen door het statistische ontwerp van een algoritme binnenkomen, maar ook door de historische gegevens waarop het is getraind en de menselijke en institutionele context waarin het wordt ingezet.

Bij werving in het bijzonder wordt een model meestal getraind op eerdere cv's, eerdere wervingsbeslissingen of tekst gegenereerd door een groot taalmodel (LLM). Als de arbeidskracht die deze historische gegevens heeft voortgebracht, zelf werd vertekend door geslacht, ras of leeftijd – een veel voorkomend kenmerk in veel industrieën – kan het model leren die vertekening zo te reproduceren alsof het een maatstaf voor verdienste is.

Een gedocumenteerd geval: Amazons weggegoide recruitmentsystem

Een van de vroegste en meest aangehaalde voorbeelden betreft een experimenteel recruitmentsysteem dat Amazon vanaf 2014 opbouwde om sollicitanten van één tot vijf sterren in te delen, volgens de American Civil Liberties Union (ACLU). Het systeem werd getraind door patronen in cv's waar het bedrijf gedurende ongeveer een decennium mee had gewerkt te observeren, een pool die overwegend mannelijk was, wat de mannelijke dominantie in de betrokken technische rollen weerspiegelde.

De ACLU meldt dat het systeem cv's met het woord 'women's' afstrafte – bijvoorbeeld 'women's rugby team' – en afgestudeerden van twee vrouwen-only colleges benadeelde, terwijl het cv's begunstigd die werkwoorden gebruikten die vaker voorkomen in mannelijke technische cv's, zoals 'executed' en 'captured'. Amazons ingenieurs probeerden het patroon op te lossen, maar volgens het ACLU-verslag over de berichtgeving van het project concludeerden zij dat het onderliggende probleem niet kon worden gegarandeerd en sloten het systeem in 2015 af, ongeveer een jaar nadat het werd getest.

Wat recent onderzoek naar AI cv-screening heeft opgeleverd

Recenter onderzoek heeft de grote taalmodellen getest die nu in veel commerciële wervingsproducten zijn ingebouwd. Een studie van de University of Washington gepresenteerd in oktober 2024 op de AAAI/ACM Conference on Artificial Intelligence, Ethics and Society testte drie open-source LLM's – van Mistral AI, Salesforce en Contextual AI – door 120 namen geassocieerd met blanke en zwarte mannen en vrouwen toe te wijzen aan meer dan 550 echte cv's en deze in te delen tegen meer dan 500 echte vacatures in negen beroepen, wat resulteert in meer dan drie miljoen cv-naar-functievergleeken.

Hoofdauteur Kyra Wilson en co-auteur Aylin Caliskan, beiden van de Information School van de University of Washington, ontdekten dat cv's met blanke-geassocieerde namen 85% van de tijd werden begunstigd vergeleken met 9% voor zwarte-geassocieerde namen, en mannelijk-geassocieerde namen werden 52% van de tijd voorkeur gegeven vergeleken met 11% voor vrouwelijk-geassocieerde namen. De modellen gaven nooit de voorkeur aan zwarte mannelijk-geassocieerde namen boven blanke mannelijke namen, een patroon dat de onderzoekers zeiden alleen zichtbaar werd wanneer ras en geslacht samen in plaats van apart werden geanalyseerd.

Belangrijkste bevindingen in een oogopslag

Hoe het vooringenomenheidsmekanisme werkt

In elk gedocumenteerd geval gaat het patroon terug op trainingsgegevens of associaties die het model uit de tekst waarop het werd getraind heeft opgenomen, in plaats van een expliciete instructie om te discrimineren. Het Amazon-systeem leerde van een historisch mannelijke sollicitantenpool. De grote taalmodellen getest door onderzoekers van de University of Washington droegen op naam gebaseerde rassische en geslachtsgeassociaties uit de bredere tekstcorpora waarop zij waren getraind.

Opmerkingen over de NIST-conceptstandaard voor vooroordelen stellen vast dat omdat deze systemen binnen bestaande sociale en institutionele structuren werken, het verwijderen van vooroordelen uit de dataset alleen geen billijk resultaat garandeert – een conclusie die overeenkomt met Amazons eigen ervaring, zoals beschreven door de ACLU, toen herhaalde pogingen van ingenieurs om het onderliggende patroon op te lossen mislukten.

Hoe regelgevers reageren

New York Citys Local Law 144, sinds juli 2023 gehandhaafd door de Department of Consumer and Worker Protection, vereist dat werkgevers die een 'geautomatiseerd wervingsbeslissingsinstrument' gebruiken voor werving of promotie een onafhankelijke jaarlijkse voorbeoordeling commissie, openbaar een samenvatting van de auditresultaten publiceren en kandidaten minstens tien werkdagen voor het gebruik van het instrument op de hoogte stellen, volgens de samenvatting van deze maatregel door het advocatenkantoor Pivot Point Security. Schendingen kunnen leiden tot civiele boetes variërend van $500 tot $1.500 per schending, volgens dezelfde samenvatting.

De California Civil Rights Council heeft nieuwe regelgeving onder de Fair Employment and Housing Act van de staat aangenomen, van kracht vanaf 1 oktober 2025, waarin wordt verduidelijkt dat het gebruik van een werkgever van een 'geautomatiseerd beslissysteem' tegen de staatsw kunnen schenden als het schadelijk is voor sollicitanten of werknemers op basis van beschermde kenmerken zoals ras, geslacht of invaliditeit, volgens de aankondiging van de Council van juni 2025. De regelgeving vereist dat werkgevers geautomatiseerde beslissingsgegevens minstens vier jaar bewaren en wijst erop dat bepaalde geautomatiseerde beoordelingen die informatie over invaliditeit onttrekken mogelijk als onwettige medische vragen kunnen worden beschouwd.

Wat dit betekent voor sollicitanten en werkgevers

• Vooroordelen die tot nu toe in wervings-AI zijn gevonden, hebben bestaande sociale patronen in trainingsgegevens gevolgd – historische cv's, onlineafbeeldingen of algemene teksten – in plaats van willekeurig voor te komen.
• Gedocumenteerde effecten omvatten het begunstigen van cv's van historisch dominante demografische groepen en het voortbrengen van systematisch verschillende resultaten voor identieke onderliggende kwalificaties.
• New York City en Californië stellen nu specifieke wettelijke verplichtingen – audits, recordbewaring of beide – op werkgevers die deze tools gebruiken, hoewel de vereisten per jurisdictie verschillen.
• Onderzoekers van de University of Washington zeggen dat vooroordelen die in één demografische categorie zijn geïdentificeerd (bijv. alleen ras) verschillende effecten kunnen maskeren die alleen zichtbaar worden wanneer categorieën worden gecombineerd, zoals ras en geslacht samen.