Bagaimana Algoritma AI Mengembangkan Bias, dan Perlindungan Apa yang Ada untuk Menghentikannya

Sistem kecerdasan buatan semakin banyak digunakan untuk menayar pelamar pekerjaan, menilai aplikasi pinjaman, memoderasi konten online, dan menandai tersangka untuk polisi. Ketika sistem ini menghasilkan hasil yang tidak setara secara sistematis untuk kelompok tertentu, peneliti dan regulator menyebut hasilnya bias algoritma. Pertanyaan tentang bagaimana bias itu terbentuk, dan apa yang dapat dilakukan tentangnya, telah pindah dari makalah akademik ke ruang papan perusahaan dan parlemen.

Dari mana bias berasal

Laporan 2022 dari U.S. National Institute of Standards and Technology (NIST), berjudul Special Publication 1270, menyimpulkan bahwa bias AI bukan hanya masalah data. Para penulis laporan mengidentifikasi tiga sumber bias yang berbeda dalam sistem AI.

• Bias komputasional dan statistik — timbul dari data pelatihan atau algoritma yang tidak representatif dari populasi yang akan dipengaruhi sistem.
• Bias manusia — diperkenalkan ketika desainer, pelabel, atau pengguna menerapkan informasi tidak lengkap atau stereotip saat membangun atau mengoperasikan sistem.
• Bias sistemik — praktik institusional yang ada dan ketidaksetaraan historis yang disandikan ke dalam sistem hanya karena mereka hadir dalam catatan yang dipelajarinya.

Penyidik utama NIST Reva Schwartz mengatakan organisasi sering menggunakan perbaikan teknis sempit yang gagal menangkap bias yang berasal dari konteks sosial yang lebih luas di mana AI dibangun dan diterapkan, menurut ringkasan agensi sendiri tentang laporan.

Dua kasus terdokumentasi

Amazon membangun alat penyaringan résumé eksperimental mulai tahun 2014, melatihnya pada kira-kira satu dekade résumé yang diterima perusahaan. Karena sektor teknologi secara historis telah mempekerjakan jauh lebih banyak pria daripada perempuan, mayoritas résumé pelatihan itu berasal dari pemohon pria. Menurut laporan MIT Technology Review, sistem mengajarkan dirinya sendiri untuk menghukum résumé yang mengandung kata 'women's' dan menurunkan tingkat lulusan dari dua perguruan tinggi khusus perempuan. Para insinyur Amazon mencoba memperbaiki pola tersebut, tetapi pada tahun 2017 perusahaan telah kehilangan kepercayaan bahwa alat tersebut netral gender dalam hal lain dan berhenti menggunakannya.

Sebuah studi 2018 terpisah bernama Gender Shades, yang dilakukan oleh Joy Buolamwini dari MIT Media Lab dan Timnit Gebru, kemudian di Microsoft Research, menguji tiga sistem analisis wajah komersial pada kumpulan data lebih dari 1.200 gambar yang diklasifikasikan menurut warna kulit menggunakan skala Fitzpatrick. Menurut ringkasan MIT News tentang temuan, tingkat kesalahan untuk pria berkulit lebih terang tidak pernah melebihi 0,8%, sementara tingkat kesalahan untuk wanita berkulit lebih gelap berkisar dari 20,8% hingga 34,7%, mencapai setinggi 46,8% untuk wanita berkulit paling gelap dalam satu sistem.

Perlindungan apa yang ada

EU AI Act, secara resmi Regulation (EU) 2024/1689, mulai berlaku pada 1 Agustus 2024, dan digambarkan oleh Komisi Eropa sebagai kerangka kerja hukum pertama yang komprehensif untuk AI di seluruh dunia. Untuk sistem yang diklasifikasikan sebagai berisiko tinggi — termasuk yang digunakan dalam pekerjaan, pendidikan, dan identifikasi biometrik — peraturan mengharuskan penyedia untuk menggunakan data pelatihan, validasi, dan pengujian dengan kualitas yang cukup untuk meminimalkan risiko hasil diskriminatif, dan untuk menempatkan penilaian risiko dan langkah mitigasi sebelum sistem mencapai pasar, menurut deskripsi Komisi sendiri tentang aturan tersebut. Komisi menyatakan bahwa kewajiban untuk sistem berisiko tinggi yang digunakan di bidang sensitif seperti pekerjaan dan biometrik menjadi berlaku pada 2 Desember 2027, dengan aturan untuk AI yang tertanam dalam produk yang diatur mengikuti pada 2 Agustus 2028.

Di Amerika Serikat, respons NIST sendiri terhadap temuan biasnya adalah merekomendasikan pendekatan 'socio-technical': mengatasi bias manusia dan sistemik bersama dengan bias komputasional dengan melibatkan ahli di luar rekayasa dan berkonsultasi dengan komunitas yang terkena dampak, daripada mengandalkan perbaikan teknis saja, menurut ringkasan laporan agensi.

Mengapa ini penting sekarang

Platform perekrutan, alat penilaian kredit, dan sistem moderasi konten sekarang umum di banyak industri, yang berarti jenis kesalahan yang didokumentasikan dalam kasus Amazon dan Gender Shades dapat mempengaruhi sejumlah besar orang sebelum siapa pun memperhatikan pola. Tenggat waktu bertahap EU AI Act melalui 2028, dan panduan manajemen bias berkelanjutan NIST, menunjukkan bahwa pengawasan sistem ini masih sedang dibangun daripada sudah lengkap.