Jak algorytmy sztucznej inteligencji rozwijają tendencyjność i jakie zabezpieczenia istnieją, aby ją powstrzymać

Systemy sztucznej inteligencji są coraz częściej wykorzystywane do selekcji kandydatów do pracy, oceny wniosków kredytowych, moderowania treści online i flagowania podejrzanych dla policji. Gdy te systemy dają systematycznie nierówne wyniki dla poszczególnych grup, naukowcy i regulatorzy nazywają to rezultatem stronniczością algorytmu. Kwestia tego, jak formuje się ta tendencyjność i co można z nią zrobić, przeniosła się z artykułów naukowych do sal konferencyjnych korporacyjnych i legislatur.

Skąd pochodzi tendencyjność

Raport z 2022 roku z Narodowego Instytutu Standardów i Technologii Stanów Zjednoczonych (NIST), zatytułowany Special Publication 1270, doszedł do wniosku, że tendencyjność AI to nie tylko problem danych. Autorzy raportu identyfikują trzy odrębne źródła tendencyjności w systemach AI.

• Tendencyjność obliczeniowa i statystyczna — wynikająca z danych treningowych lub algorytmów, które nie są reprezentatywne dla populacji, na którą będzie wpływać system.
• Tendencyjność człowieka — wprowadzana, gdy projektanci, anotatorzy lub użytkownicy stosują niepełne informacje lub stereotypy podczas budowania lub obsługi systemu.
• Tendencyjność systemowa — istniejące praktyki instytucjonalne i historyczne nierówności, które kodują się w system po prostu dlatego, że są obecne w rejestracjach, z których się uczy.

Główny badacz NIST Reva Schwartz powiedziała, że organizacje często uciekają się do wąskich napraw technicznych, które nie mogą uchwycić tendencyjności pochodzącej z szerszego kontekstu społecznego, w którym AI jest budowany i wdrażany, według własnego streszczenia agencji raportu.

Dwa udokumentowane przypadki

Amazon zbudowała eksperymentalne narzędzie do selekcji CV, począwszy od 2014 roku, szkoląc je na podstawie mniej więcej dekady CV, które firma otrzymała. Ponieważ sektor technologiczny zatrudniał historycznie znacznie więcej mężczyzn niż kobiet, większość tych treningowych CV pochodzi od kandydatów mężczyzn. Według raportowania MIT Technology Review system nauczył się karać CV zawierające słowo "women's" i obniżał oceny absolwentów dwóch kolegiów dla kobiet. Inżynierowie Amazon próbowali poprawić ten wzorzec, ale do 2017 roku firma straciła zaufanie, że narzędzie było neutralne pod względem płci w innych względach i przestała go używać.

Osobne badanie z 2018 roku zatytułowane Gender Shades, przeprowadzone przez Joy Buolamwini z MIT Media Lab i Timnit Gebru, wówczas w Microsoft Research, przetestowało trzy komercyjne systemy analizy twarzy na zbiorze danych ponad 1200 obrazów sklasyfikowanych według odcienia skóry za pomocą skali Fitzpatricka. Według streszczenia wyników MIT News, wskaźniki błędów dla jaśniejszoskórych mężczyzn nigdy nie przekroczyły 0,8%, podczas gdy wskaźniki błędów dla ciemniejszoskórych kobiet wahały się od 20,8% do 34,7%, osiągając nawet 46,8% dla najciemniejszoskórych kobiet w jednym systemie.

Jakie zabezpieczenia istnieją

Ustawa AI Unii Europejskiej, formalnie rozporządzenie (UE) 2024/1689, weszła w życie 1 sierpnia 2024 roku i jest opisywana przez Komisję Europejską jako pierwsza kompleksowa rama prawna dla AI na świecie. W przypadku systemów sklasyfikowanych jako wysokiego ryzyka — w tym tych używanych w zatrudnieniu, edukacji i identyfikacji biometrycznej — rozporządzenie wymaga od dostawców stosowania danych treningowych, walidacyjnych i testowych wystarczającej jakości w celu minimalizacji ryzyka dyskryminacyjnych wyników oraz wdrożenia miar oceny ryzyka i ich łagodzenia przed wprowadzeniem systemu na rynek, zgodnie z własnym opisem przepisów przez Komisję. Komisja stwierdza, że obowiązki dla systemów wysokiego ryzyka stosowanych w obszarach wrażliwych, takich jak zatrudnienie i biometria, wchodzą w życie 2 grudnia 2027 r., a przepisy dotyczące AI wbudowanego w produkty regulowane będą obowiązywać od 2 sierpnia 2028 r.

W Stanach Zjednoczonych własna odpowiedź NIST na jego ustalenia dotyczące tendencyjności była rekomendacją podejścia "społeczno-technicznego": rozwiązanie tendencyjności ludzkiej i systemowej obok tendencyjności obliczeniowej poprzez zaangażowanie ekspertów spoza inżynierii i konsultacje ze społecznościami dotkniętymi problemem, zamiast polegania wyłącznie na naprawach technicznych, zgodnie ze streszczeniem raportu agencji.

Dlaczego to jest ważne teraz

Platformy rekrutacyjne, narzędzia oceny kredytowej i systemy moderowania treści są teraz powszechne w wielu branżach, co oznacza, że rodzaje błędów udokumentowanych w sprawach Amazon i Gender Shades mogą dotknąć dużą liczbę osób, zanim ktokolwiek dostrzeże wzorzec. Etapowe terminy ustawy AI UE do 2028 roku i ciągłe wytyczne NIST dotyczące zarządzania tendencyjnością wskazują, że nadzór nad tymi systemami jest wciąż budowany, a nie już kompletny.