Yapay zekâ destekli işe alım araçlarındaki algoritmik önyargı işyeri ayrımcılığını nasıl yeniden üretebiliyor

Şirketler, özgeçmişleri taramak, adayları sıralamak ve hatta erken aşama görüşmeleri yürütmek için giderek daha fazla makine öğrenimi üzerine kurulu yazılımlar kullanıyor. Araştırmacılar ve düzenleyiciler, altta yatan yeterlilikler aynı olsa bile bu sistemlerden birçoğunun farklı cinsiyet, ırk veya yaş gruplarındaki başvuru sahipleri için farklı sonuçlar ürettiğini ortaya koydu.

İşe alımda algoritmik önyargı nedir?

Algoritmik önyargı, bir makine öğrenimi sisteminin çıktılarının, işe ilişkin yeterliliklerden bağımsız olarak sistematik biçimde belirli grupları kayırması veya dezavantajlı duruma düşürmesi durumunda ortaya çıkar. ABD Ulusal Standartlar ve Teknoloji Enstitüsü'nün (NIST) web sitesinde yayımlanan 'Yapay Zekâda Önyargıyı Tanımlama ve Yönetme Standardına Doğru' başlıklı SP 1270 taslak standardına ilişkin kamu yorumları, bunu sosyo-teknik bir sorun olarak tanımlıyor: önyargı, bir algoritmanın istatistiksel tasarımı yoluyla değil, aynı zamanda eğitildiği tarihsel veriler ve uygulandığı insani ve kurumsal bağlam aracılığıyla da sisteme girebiliyor.

Özellikle işe alımda bir model genellikle geçmiş özgeçmişler, geçmiş işe alım kararları veya büyük bir dil modeli (LLM) tarafından üretilen metinlerle eğitilir. Bu tarihsel verileri üreten işgücü, pek çok sektörde yaygın bir özellik olarak cinsiyet, ırk veya yaş açısından zaten dengesizse, model bu dengesizliği bir liyakat ölçütü gibi yeniden üretmeyi öğrenebilir.

Belgelenmiş bir vaka: Amazon'un rafa kaldırılan işe alım motoru

Amerikan Sivil Özgürlükler Birliği'ne (ACLU) göre, en erken ve en sık alıntılanan örneklerden biri, Amazon'un iş başvurularını bir ile beş yıldız arasında puanlamak için 2014'ten itibaren geliştirdiği deneysel bir işe alım aracıyla ilgilidir. Sistem, şirketin yaklaşık on yıl boyunca aldığı özgeçmişlerdeki kalıpları gözlemleyerek eğitilmişti; bu havuz, işle ilgili teknik rollerdeki erkek egemenliğini yansıtacak şekilde ezici biçimde erkek adaylardan oluşuyordu.

ACLU'nun raporuna göre bu araç, 'women's' (kadınlara ait) kelimesini içeren özgeçmişleri — örneğin 'women's rugby team' (kadın ragbi takımı) ifadesini — cezalandırıyor ve sadece kadınlara açık iki kolejin mezunlarını değersizleştiriyordu; buna karşılık 'executed' (yürüttü) ve 'captured' (ele geçirdi) gibi erkeklerin teknik özgeçmişlerinde daha yaygın kullanılan fiilleri içeren özgeçmişleri kayırıyordu. Amazon'un mühendisleri bu kalıbı düzeltmeye çalıştı; ancak ACLU'nun projeye ilişkin haberlere dayanan anlatımına göre, altta yatan sorunun tamamen ortadan kaldırılamayacağı sonucuna vardılar ve aracı, testlere başlanmasından yaklaşık bir yıl sonra, 2015'te devre dışı bıraktılar.

Yapay zekâ destekli özgeçmiş taramasına dair son araştırmalar ne buldu?

Daha yeni araştırmalar, birçok ticari işe alım ürününde artık yer alan büyük dil modellerini test etti. Washington Üniversitesi'nin Ekim 2024'te AAAI/ACM Yapay Zekâ, Etik ve Toplum Konferansı'nda sunulan çalışması, Mistral AI, Salesforce ve Contextual AI'ya ait üç açık kaynak LLM'yi test etti; beyaz ve siyah erkek ve kadınlarla ilişkilendirilen 120 ismi 550'den fazla gerçek özgeçmişe atayarak bunları dokuz meslek alanında 500'den fazla gerçek iş ilanına karşı sıraladı ve bu süreçte üç milyondan fazla özgeçmiş-iş karşılaştırması üretti.

Çalışmanın baş yazarı Kyra Wilson ile Washington Üniversitesi Bilgi Okulu'ndan ortak yazar Aylin Caliskan, beyazlarla ilişkilendirilen isimlere sahip özgeçmişlerin %85 oranında kayrıldığını, siyahlarla ilişkilendirilen isimler için bu oranın %9'da kaldığını; erkek adlarıyla ilişkilendirilen özgeçmişlerin %52 oranında, kadın adlarıyla ilişkilendirilenlerin ise %11 oranında tercih edildiğini buldu. Modeller hiçbir zaman siyah erkeklerle ilişkilendirilen isimleri beyaz erkek isimlerine karşı kayırmadı; araştırmacılara göre bu kalıp, ırk ve cinsiyetin ayrı ayrı değil birlikte analiz edilmesiyle görünür hale geldi.

Önemli bulgular bir bakışta

Önyargı mekanizması nasıl işliyor?

Belgelenen her vakada, kalıbın kökeni açık bir ayrımcılık talimatına değil, modelin eğitim verisine veya eğitildiği metinlerden özümsediği ilişkilendirmelere dayanıyor. Amazon'un aracı, tarihsel olarak erkek ağırlıklı bir başvuru havuzundan öğrendi. Washington Üniversitesi araştırmacılarının test ettiği LLM'ler, eğitildikleri daha geniş metin kütüphanelerinden isim temelli ırksal ve cinsiyete dayalı ilişkilendirmeler taşıyordu.

NIST'in taslak önyargı standardına ilişkin yorumlar, bu sistemlerin mevcut toplumsal ve kurumsal yapılar içinde işlediğini belirtiyor; bu nedenle sadece veri setinden önyargıyı kaldırmak adil bir sonucu garanti etmiyor — ACLU'nun anlattığına göre, mühendislerin tekrarlanan düzeltme girişimlerinin altta yatan kalıbı çözemediği Amazon'un kendi deneyimiyle örtüşen bir sonuç.

Düzenleyiciler nasıl yanıt veriyor?

Pivot Point Security hukuk firmasının özetine göre, New York City'nin Temmuz 2023'ten bu yana Tüketici ve Çalışan Koruma Dairesi tarafından uygulanan 144 Sayılı Yerel Kanunu, işe alım veya terfi için 'otomatik istihdam karar aracı' kullanan işverenlerin yıllık olarak bağımsız bir önyargı denetimi yaptırmasını, denetim sonuçlarının bir özetini kamuya açık şekilde paylaşmasını ve araç kullanılmadan önce adaylara en az on iş günü önceden bildirimde bulunmasını zorunlu kılıyor. Aynı özete göre, ihlaller için ihlal başına 500 ila 1.500 dolar arasında idari para cezası uygulanabiliyor.

Konseyin kendi Haziran 2025 duyurusuna göre, Kaliforniya Sivil Haklar Konseyi, eyaletin Adil İstihdam ve Barınma Yasası kapsamında 1 Ekim 2025'te yürürlüğe giren yeni düzenlemeler kabul etti; bu düzenlemeler, bir işverenin 'otomatik karar sistemi' kullanımının, ırk, cinsiyet veya engellilik gibi korunan özellikler temelinde başvuru sahiplerine veya çalışanlara zarar vermesi durumunda eyalet yasasını ihlal edebileceğini açıklığa kavuşturuyor. Düzenlemeler, işverenlerin otomatik karar verilerini en az dört yıl saklamasını gerektiriyor ve engellilikle ilgili bilgi talep eden belirli otomatik değerlendirmelerin yasa dışı tıbbi sorgulama sayılabileceğini belirtiyor.

Bu durum iş başvuru sahipleri ve işverenler için ne anlama geliyor?

• Bugüne kadar işe alım yapay zekâlarında bulunan önyargı, rastgele ortaya çıkmak yerine eğitim verilerindeki — geçmiş özgeçmişler, internet görselleri veya genel amaçlı metinler gibi — mevcut toplumsal kalıpları takip etti.
• Belgelenen etkiler arasında tarihsel olarak egemen demografik grupların özgeçmişlerinin kayırılması ve aynı altta yatan yeterliliklere sahip kişiler için sistematik olarak farklı sonuçların üretilmesi yer alıyor.
• New York City ve Kaliforniya artık bu araçları kullanan işverenlere denetim, kayıt tutma veya ikisini birden içeren özel yasal yükümlülükler getiriyor; ancak gereklilikler yargı bölgesine göre farklılık gösteriyor.
• Washington Üniversitesi araştırmacıları, tek bir demografik kategoride (örneğin sadece ırkta) tespit edilen önyargının, ırk ve cinsiyet gibi kategoriler birlikte ele alındığında ancak görünür hâle gelen farklı etkileri gizleyebileceğini belirtiyor.