Bagaimana bias algoritmik dalam alat perekrutan AI dapat mereplikasi diskriminasi tempat kerja

Perusahaan semakin menggunakan perangkat lunak berbasis machine learning untuk menyaring resume, menentukan peringkat kandidat, dan bahkan melakukan wawancara tahap awal. Peneliti dan regulator telah menemukan bahwa beberapa sistem ini menghasilkan hasil yang berbeda untuk pelamar dari jenis kelamin, ras, atau usia yang berbeda, bahkan ketika kualifikasi yang mendasar sama.

Apa itu bias algoritmik dalam perekrutan?

Bias algoritmik terjadi ketika output sistem machine-learning secara sistematis mendukung atau merugikan kelompok tertentu, terlepas dari kualifikasi yang relevan dengan pekerjaan. Komentar publik pada standar draft dari U.S. National Institute of Standards and Technology (NIST), SP 1270, 'Menuju Standar untuk Mengidentifikasi dan Mengelola Bias dalam Kecerdasan Buatan,' dipublikasikan di situs web NIST, menggambarkan ini sebagai masalah socio-teknis: bias dapat memasuki tidak hanya melalui desain statistik algoritma tetapi melalui data historis yang dilatih dan konteks manusia serta institusional di mana diterapkan.

Dalam perekrutan khususnya, model biasanya dilatih pada resume masa lalu, keputusan perekrutan masa lalu, atau teks yang dihasilkan oleh model bahasa besar (LLM). Jika angkatan kerja yang menghasilkan data historis itu sendiri miring menurut jenis kelamin, ras, atau usia — fitur umum dalam banyak industri — model dapat belajar mereproduksi kemiringan itu seolah-olah itu adalah ukuran prestasi.

Kasus terdokumentasi: mesin perekrutan Amazon yang dibatalkan

Salah satu contoh paling awal dan paling sering dirujuk melibatkan alat perekrutan eksperimental yang Amazon bangun mulai 2014 untuk menilai pelamar pekerjaan dari satu hingga lima bintang, menurut American Civil Liberties Union (ACLU). Sistem dilatih dengan mengamati pola dalam resume yang diterima perusahaan selama kira-kira satu dekade, sebuah kumpulan yang sangat didominasi pria, mencerminkan dominasi pria dalam peran teknis yang terlibat.

ACLU melaporkan bahwa alat menghukum resume yang berisi kata 'women's' — misalnya, 'women's rugby team' — dan menurunkan lulusan dua perguruan tinggi khusus wanita, sambil mendukung resume yang menggunakan kata kerja yang lebih umum dalam resume teknis pria, seperti 'executed' dan 'captured.' Para insinyur Amazon mencoba memperbaiki pola tersebut tetapi, menurut akun ACLU tentang pelaporan proyek, menyimpulkan bahwa masalah mendasar tidak dapat dijamin dan menutup alat pada 2015, kira-kira setahun setelah mulai diuji.

Apa yang ditemukan penelitian terbaru tentang penyaringan resume AI

Penelitian lebih baru telah menguji model bahasa besar yang sekarang tertanam dalam banyak produk perekrutan komersial. Studi University of Washington yang dipresentasikan pada Oktober 2024 di AAAI/ACM Conference on Artificial Intelligence, Ethics and Society menguji tiga LLM sumber terbuka — dari Mistral AI, Salesforce, dan Contextual AI — dengan menetapkan 120 nama yang terkait dengan pria dan wanita kulit putih dan kulit hitam ke lebih dari 550 resume asli dan menentukan peringkat mereka terhadap lebih dari 500 posting pekerjaan asli di sembilan pekerjaan, menghasilkan lebih dari tiga juta perbandingan resume-ke-pekerjaan.

Penulis utama Kyra Wilson dan penulis bersama Aylin Caliskan, keduanya di Information School University of Washington, menemukan bahwa resume dengan nama terkait kulit putih didukung 85% dari waktu dibandingkan dengan 9% untuk nama terkait kulit hitam, dan nama terkait pria lebih disukai 52% dari waktu dibandingkan dengan 11% untuk nama terkait perempuan. Model tidak pernah mendukung nama terkait pria kulit hitam daripada nama pria kulit putih, pola yang peneliti katakan hanya menjadi jelas ketika ras dan jenis kelamin dianalisis bersama daripada terpisah.

Temuan utama sekilas

Bagaimana mekanisme bias bekerja

Dalam setiap kasus yang terdokumentasi, pola dapat dilacak kembali ke data pelatihan atau asosiasi yang diserap model dari teks yang dilatih, bukan instruksi eksplisit untuk mendiskriminasi. Alat Amazon belajar dari kumpulan pelamar yang secara historis didominasi pria. LLM yang diuji oleh peneliti University of Washington membawa asosiasi ras dan jenis kelamin berbasis nama dari korpus teks yang lebih luas tempat mereka dilatih.

Komentar tentang standar bias draft NIST mencatat bahwa karena sistem ini beroperasi dalam struktur sosial dan institusional yang ada, menghilangkan bias dari dataset saja tidak menjamin hasil yang adil — kesimpulan yang sesuai dengan pengalaman Amazon sendiri, seperti yang dijelaskan ACLU, ketika perbaikan berulang insinyur gagal menyelesaikan pola mendasar.

Bagaimana regulator merespons

New York City's Local Law 144, diberlakukan oleh Department of Consumer and Worker Protection sejak Juli 2023, mengharuskan pemberi kerja yang menggunakan 'alat keputusan ketenagakerjaan otomatis' untuk perekrutan atau promosi untuk melakukan audit bias independen tahunan, secara terbuka memposting ringkasan hasil audit, dan memberi kandidat pemberitahuan setidaknya sepuluh hari kerja sebelum alat digunakan, menurut ringkasan undang-undang firm Pivot Point Security tentang tindakan ini. Pelanggaran dapat menarik penalti sipil mulai dari $500 hingga $1.500 per pelanggaran, menurut ringkasan yang sama.

California Civil Rights Council mengadopsi regulasi baru di bawah Fair Employment and Housing Act negara bagian itu, berlaku 1 Oktober 2025, memperjelas bahwa penggunaan pemberi kerja terhadap 'sistem keputusan otomatis' dapat melanggar hukum negara bagian jika merugikan pelamar atau karyawan berdasarkan karakteristik terlindungi seperti ras, jenis kelamin, atau kecacatan, menurut pengumumannya sendiri Council pada Juni 2025. Regulasi mengharuskan pemberi kerja menyimpan data keputusan otomatis selama setidaknya empat tahun dan mencatat bahwa penilaian otomatis tertentu yang mengumpulkan informasi terkait disabilitas dapat dihitung sebagai penyelidikan medis yang tidak sah.

Apa artinya ini bagi para pencari kerja dan pemberi kerja

• Bias yang ditemukan dalam AI perekrutan hingga saat ini telah melacak pola sosial yang ada dalam data pelatihan — resume historis, gambar online, atau teks tujuan umum — daripada muncul secara acak.
• Efek yang terdokumentasi mencakup mendukung resume dari kelompok demografis yang secara historis dominan dan menghasilkan hasil yang secara sistematis berbeda untuk kualifikasi yang mendasar identik.
• New York City dan California sekarang memberlakukan kewajiban hukum khusus — audit, penyimpanan catatan, atau keduanya — pada pemberi kerja yang menggunakan alat ini, meskipun persyaratan berbeda menurut yurisdiksi.
• Peneliti University of Washington mengatakan bias yang diidentifikasi dalam satu kategori demografis (misalnya, hanya ras) dapat menyembunyikan efek yang berbeda yang hanya terlihat ketika kategori digabungkan, seperti ras dan jenis kelamin bersama-sama.