כיצד אלגוריתמים של בינה מלאכותית מפתחים הטיה, והן ההגנות הקיימות כדי לעצור זאת

מערכות בינה מלאכותית משמשות בהיקף הולך וגדל לבדיקת מועמדים לעבודה, הערכת בקשות הלוואה, ניהול תוכן מקוון וזיהוי חשודים לשוטרים. כאשר מערכות אלה מייצרות תוצאות שוטפות לא שוות לקבוצות מסוימות, חוקרים ורגולטורים קוראים לתוצאה הטיה אלגוריתמית. השאלה כיצד הטיה זו נוצרת ומה ניתן לעשות בנוגע אליה התנועעה מעבודות אקדמיות לחדרי דירקטוריון וכנסתות.

מאיפה מגיעה ההטיה

דוח משנת 2022 של המכון הלאומי של ארה"ב לתקנים וטכנולוגיה (NIST), בכותרת פרסום מיוחד 1270, הסיק כי הטיה של בינה מלאכותית איננה רק בעיה במידע. מחברי הדוח זיהו שלוש מקורות ברורים של הטיה במערכות בינה מלאכותית.

• הטיה חישובית וסטטיסטית - הנובעת מנתוני הכשרה או אלגוריתמים שאינם מייצגים את האוכלוסייה שהמערכת תשפיע עליה.
• הטיה אנושית - הנכנסת כאשר מעצבים, מתייגים או משתמשים מחילים מידע לא שלם או סטריאוטיפים בעת בנייה או הפעלת המערכת.
• הטיה מערכתית - שיטות מוסדיות קיימות ופערי שוויון היסטוריים שמקודדים למערכת פשוט משום שהם קיימים ברשומות שממנה הוא לומד.

רווה שוורץ, חוקרת עיקרית של NIST, אמרה שארגונים לעתים קרובות נשענים על תיקונים טכניים צרים שאינם לוכדים הטיה שמקורה בהקשר חברתי רחב יותר שבו בינה מלאכותית בנויה וגדלה, בהתאם לסיכום של הסוכנות שלה של הדוח.

שני מקרים מתועדים

אמזון בנתה כלי בדיקה ניסיוני של קורות חיים החל משנת 2014, והכשירה אותו על כל עשור קורות חיים שהחברה קיבלה. מכיוון שתחום הטכנולוגיה העסיק בעבר הרבה יותר גברים מאשר נשים, רוב אותם קורות חיים הכשרה הגיעו מהמחברים הגברים. על פי דיווח של MIT Technology Review, המערכת לימדה את עצמה להעניש קורות חיים שהכילו את המילה "נשים" והורידה את ערכם של בוגרי שני קבוצות של עסקה רק של נשים. מהנדסי אמזון ניסו לתקן את הדפוס, אך עד 2017 החברה איבדה ביטחון שהכלי היה ניטרלי מבחינת מין בהיבטים אחרים והפסיקה להשתמש בו.

מחקר נפרד משנת 2018 בשם Gender Shades, שביצעו Joy Buolamwini מ-MIT Media Lab ו-Timnit Gebru, אז ב-Microsoft Research, בדקו שלוש מערכות ניתוח פנים מסחריות על מערך נתונים של יותר מ-1,200 תמונות המסווגות לפי גוון עור באמצעות סולם Fitzpatrick. על פי סיכום MIT News של הממצאים, שיעורי הטעות לגברים בעלי עור בהיר לא עלו על 0.8%, בעוד שיעורי הטעות לנשים בעלות עור כהה נעו בין 20.8% ל-34.7%, והגיעו עד 46.8% לנשים בעלות עור הכי כהה במערכת אחת.

אילו הגנות קיימות

חוק בינה מלאכותית של איחוד האירופה, רשמית תקנה (EU) 2024/1689, נכנס לכוח ב-1 באוגוסט 2024, ותואר על ידי הנציבות האירופית כמסגרת החוקית הרחבה הראשונה לבינה מלאכותית בעולם. במערכות המסווגות כסיכון גבוה - כולל אלה המשמשות בעסקים, חינוך וזיהוי ביומטרי - התקנה דורשת מספקים להשתמש בנתוני הכשרה, אימות ובדיקה בעלי איכות מספקת להפחתת הסיכון של תוצאות מפלות, ולהנחות אמצעי הערכת סיכון והפחתה ממום לפני שהמערכת מגיעה לשוק, בהתאם לתיאור שלה של התקנות. הנציבות קובעת שחובות למערכות בעלות סיכון גבוה המשמשות בתחומים רגישים כגון עבודה וביומטריה הופכות ליישום ב-2 בדצמבר 2027, כאשר כללים לבינה מלאכותית מוטבעת במוצרים מוסדרים הבאים בעקבות ב-2 באוגוסט 2028.

התגובה של NIST לממצאי הטיה שלה הייתה להמליץ על גישה "חברתית-טכנית": התמודדות עם הטיה אנושית ומערכתית לצד הטיה חישובית על ידי מעורבות של מומחים מחוץ להנדסה והיעוץ לקהילות פגועות, ולא על סמך תיקונים טכניים בלבד, בהתאם לסיכום הדוח של הסוכנות.

למה זה חשוב כעת

פלטפורמות גיוס, כלים לדירוג אשראי ומערכות פיקוח על תוכן כעת נפוצות בתחומים רבים, מה שאומר שהסוגים של שגיאות המתועדות במקרים של אמזון ו-Gender Shades יכולים להשפיע על מספרים גדולים של אנשים לפני שמישהו שם לב לדפוס. ההיעדים השלבים של חוק בינה מלאכותית של איחוד האירופה דרך 2028, והנחיות ממשכות של NIST לניהול הטיה, מציינות שהפיקוח על מערכות אלה עדיין בבנייה ולא כבר הושלם.