Wie KI-Algorithmen zu Voreingenommenheit führen und welche Schutzmaßnahmen es gibt

Künstliche-Intelligenz-Systeme werden zunehmend verwendet, um Bewerbungen zu überprüfen, Kreditanträge zu bewerten, Online-Inhalte zu moderieren und Verdächtige für die Polizei zu kennzeichnen. Wenn diese Systeme systematisch unterschiedliche Ergebnisse für bestimmte Gruppen erbringen, bezeichnen Forscher und Regulierungsbehörden das Ergebnis als algorithmische Voreingenommenheit. Die Frage, wie diese Voreingenommenheit entsteht und was dagegen unternommen werden kann, ist aus akademischen Veröffentlichungen in Unternehmensvorstände und Legislativen übergegangen.

Woher die Voreingenommenheit kommt

Ein 2022 Bericht des U.S. National Institute of Standards and Technology (NIST) mit dem Titel Special Publication 1270 gelangte zu dem Ergebnis, dass KI-Voreingenommenheit nicht nur ein Datenproblem ist. Die Autoren des Berichts identifizierten drei unterschiedliche Quellen von Voreingenommenheit in KI-Systemen.

• Rechnerische und statistische Voreingenommenheit – ergibt sich aus Trainingsdaten oder Algorithmen, die die betroffene Population nicht repräsentieren.
• Menschliche Voreingenommenheit – wird eingeführt, wenn Designer, Kennzeichner oder Benutzer bei der Entwicklung oder dem Betrieb des Systems unvollständige Informationen oder Stereotypen anwenden.
• Systemische Voreingenommenheit – vorhandene institutionelle Praktiken und historische Ungleichheiten, die in ein System kodiert werden, nur weil sie in den Aufzeichnungen vorhanden sind, von denen es lernt.

Der NIST-Hauptermittler Reva Schwartz sagte, dass Organisationen häufig zu engen technischen Lösungen greifen, die die Voreingenommenheit nicht erfassen, die aus dem breiteren gesellschaftlichen Kontext stammt, in dem KI entwickelt und eingesetzt wird, wie aus der eigenen Zusammenfassung der Agentur zum Bericht hervorgeht.

Zwei dokumentierte Fälle

Amazon entwickelte ab 2014 ein experimentelles Lebenslauf-Screening-Tool und trainierte es mit etwa einem Jahrzehnt von Lebensläufen, die das Unternehmen erhalten hatte. Da der Technologiesektor historisch gesehen viel mehr Männer als Frauen beschäftigt hat, stammte die Mehrheit dieser Trainingslebensläufe von männlichen Bewerbern. Einem Bericht des MIT Technology Review zufolge lehrte sich das System selbst, Lebensläufe zu benachteiligen, die das Wort "Frauen" enthielten, und stufte Absolventen von zwei reinen Frauencolleges herab. Amazon-Ingenieure versuchten, das Muster zu korrigieren, aber 2017 hatte das Unternehmen das Vertrauen verloren, dass das Tool in anderen Aspekten geschlechtsneutral war, und stellte die Verwendung ein.

Eine separate 2018 Studie mit dem Namen Gender Shades, durchgeführt von Joy Buolamwini vom MIT Media Lab und Timnit Gebru, damals bei Microsoft Research, testete drei kommerzielle Gesichtsanalysesysteme an einem Datensatz von mehr als 1.200 Bildern, die nach Hautton unter Verwendung der Fitzpatrick-Skala klassifiziert wurden. Nach einer Zusammenfassung der Erkenntnisse durch MIT News betrugen die Fehlerquoten für hellhäutige Männer nie mehr als 0,8%, während die Fehlerquoten für dunkelhäutige Frauen zwischen 20,8% und 34,7% lagen und für die dunkelhäutesten Frauen in einem System bis zu 46,8% erreichten.

Welche Schutzmaßnahmen es gibt

Das EU-Gesetz über künstliche Intelligenz, formal Verordnung (EU) 2024/1689, trat am 1. August 2024 in Kraft und wird von der Europäischen Kommission als der erste umfassende rechtliche Rahmen für KI weltweit beschrieben. Für Systeme, die als hochriskant eingestuft werden – einschließlich solcher, die in Beschäftigung, Bildung und biometrischer Identifizierung verwendet werden – verlangt die Verordnung von den Anbietern, Trainings-, Validierungs- und Testdaten von ausreichender Qualität zu verwenden, um das Risiko von Diskriminierungsergebnissen zu minimieren, und Risikobewertungs- und Minderungsmaßnahmen einzuführen, bevor das System auf den Markt kommt, laut der Beschreibung der Regeln durch die Kommission. Die Kommission erklärt, dass die Verpflichtungen für hochriskante Systeme, die in sensiblen Bereichen wie Beschäftigung und Biometrie verwendet werden, am 2. Dezember 2027 gültig werden, mit Regeln für KI, die in regulierten Produkten eingebettet ist, am 2. August 2028.

In den Vereinigten Staaten war die Reaktion von NIST selbst auf seine Bias-Erkenntnisse, einen "socio-technischen" Ansatz zu empfehlen: Menschliche und systemische Voreingenommenheit neben rechnerischer Voreingenommenheit zu behandeln, indem Experten außerhalb des Ingenieurwesens einbezogen werden und betroffene Gemeinschaften konsultiert werden, anstatt sich nur auf technische Lösungen zu verlassen, laut der Berichtszusammenfassung der Agentur.

Warum das jetzt wichtig ist

Einstellungsplattformen, Kreditscoring-Tools und Content-Moderationssysteme sind jetzt in vielen Branchen verbreitet, was bedeutet, dass die Art von Fehlern, die in den Amazon- und Gender Shades-Fällen dokumentiert sind, viele Menschen beeinflussen können, bevor jemand ein Muster bemerkt. Die gestaffelten Fristen des EU-Gesetzes über künstliche Intelligenz bis 2028 und die laufende Bias-Managementrichtlinie von NIST deuten darauf hin, dass die Überwachung dieser Systeme noch aufgebaut wird, anstatt bereits abgeschlossen zu sein.