כיצד הטיה אלגוריתמית בכלים של בינה מלאכותית להעסקה יכולה להשכפל אפליה במקום העבודה

חברות משתמשות בשיעור הולך וגדל בתוכנה המבוססת על למידת מכונה לסינון קורות חיים, דירוג מועמדים וניהול אפילו ראיונות בשלב מוקדם. חוקרים ומפקחים גילו כי מספר מערכות אלה מייצרות תוצאות שונות עבור מועמדים של מינים, גזעים או גילים שונים, אפילו כאשר הכישורים הבסיסיים זהים.

מה זו הטיה אלגוריתמית בהעסקה?

הטיה אלגוריתמית מתרחשת כאשר פלטי מערכת למידת מכונה עדיפות בעקביות או פוגעות בקבוצות מסוימות, ללא תלות בכישורים הרלוונטיים לעבודה. הערות ציבוריות על טיוטת תקן מ-US National Institute of Standards and Technology (NIST), SP 1270, "לכיוון תקן לזיהוי וניהול הטיה בבינה מלאכותית," המפורסמות באתר NIST, מתארות זאת כבעיה סוציו-טכנית: הטיה יכולה להיכנס לא רק דרך התכנון הסטטיסטי של אלגוריתם אלא גם דרך הנתונים ההיסטוריים שעליהם היא מאומנת והקשר האנושי והמוסדי בו היא מתופעלת.

בהעסקה ספציפית, מודל מאומן בדרך כלל על קורות חיים קודמות, החלטות העסקה קודמות, או טקסט שנוצר על ידי מודל שפה גדול (LLM). אם כוח העבודה שייצר את הנתונים ההיסטוריים הללו היה עצמו מוטה לפי מין, גזע או גיל - תכונה משותפת בתעשיות רבות - המודל יכול ללמוד לחזור על ההטיה הזו כאילו היא היתה מדד של כשירות.

מקרה תיעודי: מנוע ההעסקה המבוטל של Amazon

אחד הדוגמאות המוקדמות והמצוטטות ביותר כוללות כלי העסקה ניסיוני שבנתה Amazon החל משנת 2014 כדי לדרג מועמדים לעבודה מכוכב אחד לחמישה כוכבים, על פי American Civil Liberties Union (ACLU). המערכת אומנה על ידי התבוננות בדפוסים בקורות חיים שהחברה קיבלה במשך כעשור בערך, אוכלוסייה שהייתה כמעט בלעדית מסקולין, המשקפת דומיננטיות של גברים בתפקידים טכניים המדוברים.

ה-ACLU מדווח כי הכלי ענש על קורות חיים המכילות את המילה "women's" - למשל, "women's rugby team" - והוריד את דירוג בוגרות שתי קולג'ים לנשים בלבד, בעוד שהעדיף קורות חיים ששימשו בפעלים תכופים יותר בקורות חיים טכניים של גברים, כגון "executed" ו-"captured." מהנדסי Amazon ניסו לתקן את הדפוס אך, על פי חשבון ACLU של דיווח על הפרויקט, הגיעו למסקנה שלא ניתן להבטיח את ההצאה של הבעיה הבסיסית וסגרו את הכלי בשנת 2015, בערך שנה לאחר שהוא התחיל להיבדק.

מה מצא מחקר אחרון על קידוד קורות חיים בבינה מלאכותית

מחקר חדש יותר בדק מודלים של שפה גדולה כעת משובצים בתוך מוצרי העסקה מסחריים רבים. מחקר מאוניברסיטת Washington שהוצג בחודש אוקטובר 2024 בכנס AAAI/ACM על בינה מלאכותית, אתיקה וחברה בדק שלושה מודלים של שפה בקוד פתוח - מ-Mistral AI, Salesforce וContextual AI - על ידי הקצאת 120 שמות הקשורים לגברים ונשים לבנים ושחורים ליותר מ-550 קורות חיים אמיתיות וודירוגם מול יותר מ-500 הצעות עבודה אמיתיות על פני תשע תעסוקות, מה שהביא ליותר משלוש מיליוני השוואות קורות חיים לעבודה.

מחברת ראשית Kyra Wilson וחברת כתיבה Aylin Caliskan, שתיהן מבית הספר למידע באוניברסיטת Washington, מצאו כי קורות חיים עם שמות הקשורים ללבנים היו עדיפים ב-85% מהמקרים לעומת 9% לשמות הקשורים לשחורים, ושמות הקשורים לגברים היו מעדיפים ב-52% מהמקרים לעומת 11% לשמות הקשורים לנשים. המודלים לעולם לא העדיפו שמות הקשורים לגברים שחורים על שמות של גברים לבנים, דפוס שהחוקרים אמרו שנתגלה רק כאשר גזע ומין נותחו ביחד ולא בנפרד.

ממצאים עיקריים בקיצור

כיצד עובדת מנגנון ההטיה

בכל מקרה תיעודי, הדפוס עקוב לנתוני אימון או אסוציאציות שהמודל ספג מטקסט שעליו אומן, במקום הוראה מפורשת להפלות. כלי Amazon למד מאוכלוסיית מועמדים היסטוריתית שהייתה בעיקרה זכרית. מודלי LLM שנבדקו על ידי חוקרי אוניברסיטת Washington נשאו אסוציאציות כשלונות וגנדריות מבוססות שם מתדקדוקי טקסט רחבים יותר שעליהם אומנו.

הערות על טיוטת תקן ההטיה של NIST מציינות כי מכיוון שמערכות אלה פועלות במסגרת מבנים חברתיים ומוסדיים קיימים, הסרת הטיה מהמערך הנתונים בלבד לא מבטיחה תוצאה הוגנת - מסקנה התואמת את התנסות Amazon שלה, כפי שתיארה ACLU, כאשר תיקונים חוזרים ונשנים של מהנדסים לא הצליחו לפתור את הדפוס הבסיסי.

כיצד מגיבים המנהלים

Local Law 144 של ניו יורק, המנוהל על ידי מחלקת הגנת צרכנים ועובדים מאז יולי 2023, דורש מעסיקים המשתמשים בכלי "החלטה עסקית עסקית" להעסקה או קידום להזמין ביקורת הטיה עצמאית בשנה, לפרסם בפומבי סיכום של תוצאות הביקורת, ולהודיע למועמדים לפחות עשרה ימי עסקים לפני השימוש בכלי, על פי סיכום חברת הדין Pivot Point Security של הצעד. הפרות יכולות להוביל לעונשים אזרחיים החל מ-$500 עד $1,500 לכל הפרה, על פי אותו סיכום.

מועצת זכויות האדם של קליפורניה אימצה תקנות חדשות על פי חוק תעסוקה הוגנת וגהות המדינה, בתוקף החל מ-1 בחודש אוקטובר 2025, המבהירה כי שימוש של מעסיק בסיסטם החלטה עסקי עשוי להפר את חוק המדינה אם הוא פוגע למועמדים או לעובדים על סמך מאפיינים מוגנים כגון גזע, מין או מוגבלות, על פי הודעת המועצה עצמה בחודש יוני 2025. התקנות דורשות מעסיקים לשמור על נתונים של סיסטם עסקי לפחות ארבע שנים ומציינות כי הערכות עסקיות מסוימות היוממות מידע הקשור לנכות עלולות להיחשב כשאלות רפואיות לא חוקיות.

מה זה אומר למועמדי עבודה ולמעסיקים

• הטיה שנמצאה בבינה מלאכותית להעסקה עד כה עקבה אחר דפוסים חברתיים קיימים בנתוני אימון - קורות חיים היסטוריים, תמונות מקוונות או טקסט בשימוש כללי - במקום להיות קיימות בשכיחות.
• ההשפעות המתועדות כוללות עדיפות לקורות חיים מקבוצות דמוגרפיות שהיו דומיננטיות מבחינה היסטורית וייצור תוצאות שונות בעקביות לכישורים בסיסיים זהים.
• ניו יורק וקליפורניה כעת חיות התחייבויות משפטיות ספציפיות - ביקורות, שמירת רקורדים, או שניהם - על מעסיקים המשתמשים בכלים אלה, אם כי הדרישות נבדלות לפי סמכות.
• חוקרי אוניברסיטת Washington אומרים כי הטיה שזוהתה בקטגוריה דמוגרפית אחת (לדוגמה, גזע בלבד) יכולה להסתיר השפעות שונות שנראות רק כאשר קטגוריות משולבות, כמו גזע ומין ביחד.