Wie algorithmische Vorurteile in KI-Einstellungswerkzeugen Diskriminierung am Arbeitsplatz reproduzieren können

Unternehmen nutzen zunehmend Software, die auf maschinellem Lernen basiert, um Lebensläufe zu durchsuchen, Kandidaten einzustufen und sogar frühe Vorstellungsgespräche zu führen. Forscher und Regulierungsbehörden haben festgestellt, dass mehrere dieser Systeme unterschiedliche Ergebnisse für Bewerber verschiedener Geschlechter, Rassen oder Altersgruppen liefern, selbst wenn die zugrunde liegenden Qualifikationen identisch sind.

Was ist algorithmische Vorurteilshaftigkeit bei der Einstellung?

Algorithmische Vorurteile treten auf, wenn die Ausgaben eines Machine-Learning-Systems systematisch bestimmte Gruppen bevorzugen oder benachteiligen, unabhängig von stellenrelevanten Qualifikationen. Öffentliche Kommentare zu einem Entwurf eines Standards des U.S. National Institute of Standards and Technology (NIST), SP 1270, 'Towards a Standard for Identifying and Managing Bias in Artificial Intelligence', veröffentlicht auf der Website des NIST, beschreiben dies als ein sozio-technisches Problem: Vorurteile können nicht nur durch das statistische Design eines Algorithmus eindringen, sondern auch durch die historischen Daten, auf denen er trainiert wurde, und den menschlichen und institutionellen Kontext, in dem er eingesetzt wird.

Speziell bei der Einstellung wird ein Modell normalerweise auf Basis von früheren Lebensläufen, früheren Einstellungsentscheidungen oder von einem großen Sprachmodell (LLM) generiertem Text trainiert. War die Belegschaft, die diese historischen Daten erzeugt hat, selbst durch Geschlecht, Rasse oder Alter verzerrt – ein häufiges Merkmal in vielen Branchen – kann das Modell lernen, diese Verzerrung so zu reproduzieren, als wäre sie ein Merkmal von Leistung.

Ein dokumentierter Fall: Amazons verworfenes Rekrutierungsmodul

Eines der frühesten und am häufigsten zitierten Beispiele betrifft ein experimentelles Rekrutierungsinstrument, das Amazon ab 2014 zur Bewertung von Jobkandidaten auf einer Skala von eins bis fünf Sternen entwickelte, nach Angaben der American Civil Liberties Union (ACLU). Das System wurde durch Beobachtung von Mustern in Lebensläufen trainiert, die das Unternehmen über etwa ein Jahrzehnt hinweg erhalten hatte – ein Bestand, der stark männlich dominiert war und die männliche Dominanz in den betreffenden technischen Funktionen widerspiegelte.

Die ACLU berichtet, dass das Werkzeug Lebensläufe mit dem Wort 'women's' bestraft hat – beispielsweise 'women's rugby team' – und Absolventinnen von zwei reinen Frauencolleges herabgestuft hat, während es Lebensläufe bevorzugte, die Verben verwendeten, die in männlichen technischen Lebensläufen häufiger vorkommen, wie 'executed' und 'captured'. Amazons Ingenieure versuchten, das Muster zu beheben, kamen aber dem Bericht der ACLU zufolge zu dem Ergebnis, dass das zugrunde liegende Problem nicht garantiert werden konnte, und stellten das Werkzeug 2015 ein, etwa ein Jahr nachdem die Tests begannen.

Was neuere Forschung zu KI-Lebenslauf-Screening ergab

Neuere Forschung hat die großen Sprachmodelle getestet, die jetzt in vielen kommerziellen Einstellungsprodukten eingebettet sind. Eine Studie der University of Washington, die im Oktober 2024 auf der AAAI/ACM Conference on Artificial Intelligence, Ethics and Society vorgestellt wurde, testete drei Open-Source-LLMs – von Mistral AI, Salesforce und Contextual AI – indem sie 120 Namen, die mit weißen und schwarzen Männern und Frauen verbunden sind, mehr als 550 echten Lebensläufen zuordnete und diese gegen über 500 echte Stellenausschreibungen in neun Berufen einordnete, was zu mehr als drei Millionen Lebenslauf-zu-Stellenvergleichen führte.

Die Leitautorin Kyra Wilson und die Co-Autorin Aylin Caliskan, beide von der Information School der University of Washington, stellten fest, dass Lebensläufe mit weißen Namen in 85 % der Fälle gegenüber 9 % für Namen mit schwarzer Assoziation bevorzugt wurden, und männliche Namen wurden in 52 % der Fälle gegenüber 11 % für weibliche Namen bevorzugt. Die Modelle bevorzugten niemals schwarze männliche Namen gegenüber weißen männlichen Namen, ein Muster, das die Forscher sagten, wurde nur sichtbar, wenn Rasse und Geschlecht zusammen statt separat analysiert wurden.

Wichtigste Erkenntnisse auf einen Blick

Wie der Bias-Mechanismus funktioniert

In jedem dokumentierten Fall lässt sich das Muster auf Trainingsdaten oder Assoziationen zurückführen, die das Modell aus dem Text absorbierte, auf dem es trainiert wurde, statt auf eine explizite Anweisung zur Diskriminierung. Das Amazon-Werkzeug lernte von einem historisch männlich dominierten Bewerberpool. Die von Forschern der University of Washington getesteten LLMs trugen namensbasierte rassische und geschlechtsspezifische Assoziationen aus den breiteren Textkorpora mit sich, auf denen sie trainiert wurden.

Kommentare zum NIST-Entwurfsbias-Standard weisen darauf hin, dass diese Systeme innerhalb bestehender sozialer und institutioneller Strukturen arbeiten und das Entfernen von Vorurteilen aus dem Datensatz allein kein faires Ergebnis garantiert – eine Schlussfolgerung, die Amazons eigene Erfahrung widerspiegelt, wie die ACLU berichtet, da die wiederholten Versuche der Ingenieure zur Behebung des zugrunde liegenden Musters fehlschlugen.

Wie Regulierungsbehörden reagieren

New York Citys Local Law 144, seit Juli 2023 durchgesetzt durch die New York City Department of Consumer and Worker Protection, verpflichtet Arbeitgeber, die ein 'automatisiertes Beschäftigungsentscheidungswerkzeug' für Einstellung oder Beförderung nutzen, einen unabhängigen Bias-Audit in Auftrag zu geben, öffentlich eine Zusammenfassung der Audit-Ergebnisse zu veröffentlichen und Kandidaten mindestens zehn Geschäftstage vor der Nutzung des Werkzeugs zu benachrichtigen, gemäß der Zusammenfassung dieser Maßnahme durch die Anwaltskanzlei Pivot Point Security. Verstöße können zu Zivilstrafen zwischen 500 und 1.500 Dollar pro Verstoß führen, gemäß derselben Zusammenfassung.

Kaliforniens Civil Rights Council hat neue Vorschriften gemäß des Fair Employment and Housing Act des Staates angenommen, die am 1. Oktober 2025 in Kraft treten, und klären, dass die Nutzung eines 'automatisierten Entscheidungssystems' durch einen Arbeitgeber gegen staatliches Recht verstoßen kann, wenn es Bewerber oder Mitarbeiter aufgrund geschützter Merkmale wie Rasse, Geschlecht oder Behinderung schadet, gemäß der Ankündigung des Councils von Juni 2025. Die Vorschriften verpflichten Arbeitgeber, automatisierte Entscheidungsdaten mindestens vier Jahre lang aufzubewahen und weisen darauf hin, dass bestimmte automatisierte Bewertungen, die Informationen zu Behinderungen erfassen, möglicherweise als illegale medizinische Anfragen zählen.

Was dies für Jobbewerber und Arbeitgeber bedeutet

• Vorurteile, die bislang in Einstellungs-KI gefunden wurden, haben bestehende soziale Muster in Trainingsdaten nachvollzogen – historische Lebensläufe, Online-Bilder oder allgemeine Texte – anstatt zufällig zu erscheinen.
• Dokumentierte Auswirkungen umfassen die Bevorzugung von Lebensläufen von historisch dominanten demografischen Gruppen und die Erzeugung systematisch unterschiedlicher Ergebnisse für identische zugrunde liegende Qualifikationen.
• New York City und Kalifornien stellen jetzt spezifische rechtliche Verpflichtungen – Audits, Aufbewahrung oder beides – an Arbeitgeber, die diese Werkzeuge nutzen, obwohl die Anforderungen je nach Gerichtsbarkeit unterschiedlich sind.
• Forscher der University of Washington sagen, dass in einer demografischen Kategorie identifizierte Vorurteile (z.B. nur Rasse) unterschiedliche Auswirkungen verbergen können, die nur sichtbar werden, wenn Kategorien kombiniert werden, wie Rasse und Geschlecht zusammen.