בינה מלאכותית · מאמר
מדוע מודלי שפה של בינה מלאכותית מהלוצינים: המחקר מאחורי תשובות שקריות
פורסם:
בקצרה
"הלוצינציות" של בינה מלאכותית קורות משום שמודלי שפה מאומנים לחזות את המילה הסבירה הבאה, לא לאמת את האמת, ובגלל הבדיקות המשמשות לדירוג שלהם המתגמלות ניחוש בטוח על פני הודאה בחוסר ודאות. חוקרים ב-OpenAI טוענים שהבעיה היא בחלקה תוצאה מתמטית של איך מודלים מאומנים וחלקית תוצאה של איך תעשיית הבינה המלאכותית מדרגת אותם.
גרסה זו היא תרגום מכונה של המקור (English). לקריאת המקור
הלוצינציה של בינה מלאכותית היא הצהרה המיוצרת על ידי מודל שפה שנראית זורמת וודאי אך שגויה עובדתית - ציטוט מורכב, תאריך שגוי, או אדם שלא קיים. במאמר מחקר שפורסם בספטמבר 2025, חוקרי OpenAI מתארים הלוצינציות במונחים אלה וקובעים שעם שיטות הכשרה והערכה עדכניות, לא ניתן לפתור את הבעיה לחלוטין.
כיצד תהליך ההכשרה יוצר שגיאות
על פי המאמר של OpenAI, שפורסם ב-arXiv, חלק מההסבר טמון באופן שבו מודלים מאומנים מראש. במהלך הכשרה מראשית, מודל לומד רק מטקסט זורם, ללא תוויות המסימנות אילו הצהרות נכונות או שקריות. הוא מאומן עם מטרה סטטיסטית (אובדן אנטרופיה צולבת) המתגמלת חיזוי מילים סביר הבא, לא אימות עובדות.
החוקרים מראים שזה מייצר שגיאות אפילו בנתונים שעצמם אינם מכילים שגיאות. לגבי עובדות המופיעות פעם אחת בלבד בנתוני ההכשרה - החוקרים נותנים דוגמה של יום הולדת של אדם - הניתוח במאמר מצא שקצב ההלוצינציה על עובדות אלה צריך להיות לפחות גבוה כמו הנתח של עובדות "יחידה" כזה בערכת ההכשרה. במילים אחרות, אם עובדה הוזכרה פעם אחת בלבד, המודל נוטה מתמטית להיות מוטעה בה. המאמר קורא לכמה שגיאות כבלתי נמנעות אפילו עבור מודלים ללא מגבלות על כוח חישוב, מכיוון שמשימות מסוימות הן מה שהוא מתאר כ"לא ניתן לפתרון חישובי."
מדוע מערכות דירוג מתגמלות ניחוש
הטיעון השני של המאמר עוסק בכיצד מודלים מוערכים לאחר הכשרה מראשית. הוא משווה מודל שפה לתלמיד העומד בפני בחינת בחירה מרובה: תשובה ריקה מקבלת אפס, אז ניחוש הוא תמיד האסטרטגיה הטובה יותר מבחינה סטטיסטית כאשר כל תשובה שגויה עולה כמו השארת השאלה ללא תשובה. חוקרי OpenAI בחנו עשרה מדדים בינה מלאכותית בשימוש נרחב - כולל GPQA, MMLU-Pro ו-SWE-bench - ומצאו שתשעה מהם משתמשים בדירוג בינארי שלא נותן קרדיט לתשובה כמו "אני לא יודע," אותה ניקוד כמו תשובה שגויה.
דפוס הדירוג זה, טוען המאמר, דוחף מודלים להמשיך לנחש במקום להודות באי-ודאות, מכיוון שניחוש בטוח מדירג טוב יותר בממוצע מאשר גדר כן הגון. TechCrunch, בדיווח על המאמר, תיאר זאת כהערכות היוצרות תמריצים לא נכונים על ידי פיצוי ניחוש נכון במקרה באותה דרך כמו תשובות תמוכות באמת.
מודלים משכלים הלוצינו יותר, לא פחות
המגמה אינה מוגבלת למודלים ישנים יותר. כרטיס המערכת של OpenAI למודלים ההנמקה o3 ו-o4-mini שלה, ששוחררו באפריל 2025 ודווחו על ידי TechCrunch, מצא שקצב ההלוצינציה עלה עם מערכות הנמקה חדשות יותר בנקודת הייחוס PersonQA הפנימית של החברה, המבחנת שאלות עובדתיות על אנשים.
| מודל | קצב הלוצינציה |
|---|---|
| o1 | 16% |
| o3-mini | 14.8% |
| o3 | 33% |
| o4-mini | 48% |
OpenAI אמרה שנדרש עוד מחקר כדי להבין מדוע הלוצינציות גדלות כאשר מודלי הנמקה גדלים, וציינה שמודלים אלה מעלים יותר טענות בסך הכל, מה שמייצר הן יותר הצהרות נכונות והן יותר שגויות. ניל צ'ודורי, חוקר בקבוצת מחקר הבינה המלאכותית Transluce שנחווה על ידי TechCrunch, הציע השערה אחת: סוג הלמידה בהחזוקה המשמש להכשרת מודלים בסדרת o עלול להגביר בעיות שטכניקות הכשרה סטנדרטיות בדרך כלל מקלים.
מה OpenAI מציעה לתיקון
המאמר מספטמבר 2025 מציע שינוי אופן דירוג הנקודות ההשוואתיות ולא הוספת בדיקות הלוצינציה נפרדות. ההנמקה המוצעת שלו היא לבנות סף ביטחון מפורש בהוראות הדירוג - לדוגמה, הנחיית מודל לענות על שאלה רק אם הוא יותר מ-75% בטוח, כשטעויות עולות יותר נקודות מאשר הימנעות. בתיאוריה, זה הופך את ההימנעות לבחירה טובה יותר מבחינה מתמטית כאשר מודל אינו בטוח, בניגוד לגרוע, כפי שקורה בסיסטמי הדירוג הנוכחיים.
כמו סטודנטים העומדים בפני שאלות בחינה קשות, מודלי שפה גדולים לעתים קרובות מנחשים כאשר אינם בטוחים, ומייצרים הצהרות סבירות אך שגויות במקום להודות באי-ודאות.
המאמר ברור במפורש שהגישה זו תקטין, ולא תחסל, הלוצינציות. מכיוון שחלק מהשגיאות נובע מעובדות נדירות סטטיסטית או ממשימות שהחוקרים מתארים כ"לא ניתן לפתרון חישובי", המחברים מסיקים שמודל שפה עם אפס הלוצינציות אינו ניתן לשגגה עם השיטות הנוכחיות.
שאלות
- מה בדיוק היא הלוצינציה של בינה מלאכותית?
- זוהי הצהרה המיוצרת על ידי מודל שפה שנראית זורמת וודאי אך שגויה עובדתית - לדוגמה, ציטוט מורכב, תאריך שגוי, או אדם שלא קיים. המחקר של OpenAI מתאר הלוצינציות בצורה זו.
- האם ניתן לחסל לחלוטין הלוצינציות של בינה מלאכותית?
- על פי המאמר המחקר של OpenAI מספטמבר 2025, לא. המחברים מתארים כמה הלוצינציות כתוצאה בלתי נמנעת מתמטית מאופן הכשרה והערכה של מודלים, כלומר ניתן לתקן את הקצב אך לא להביא אותו לאפס עם השיטות הנוכחיות.
- מדוע מודלי הנמקה חדשים יותר של בינה מלאכותית לעתים קרובות הלוצינים יותר מאלה הישנים יותר?
- כרטיס המערכת של OpenAI למודלים o3 ו-o4-mini מצא שיעורי הלוצינציה גבוהים יותר (33% ו-48%) בנקודת הייחוס PersonQA שלה מאשר מודלים ישנים יותר כמו o1 (16%), והחברה אמרה באפריל 2025 שנדרש עוד מחקר כדי להסביר את הגדילה.
- מדוע בדיקות נקודות ייחוס מעודדות מודלי בינה מלאכותית לנחש במקום לומר "אני לא יודע"?
- OpenAI מצאה שתשעה מתוך עשרה נקודות ייחוס בינה מלאכותית עיקריות שבדקה משתמשות בדירוג בינארי שלא נותן קרדיט גם לתשובה שגויה וגם ל"אני לא יודע" כן הגון, המתגמלת באופן סטטיסטי ניחוש על פני הודאה בחוסר ודאות.
- מה OpenAI מציעה כתיקון להלוצינציות?
- החוקרים שלה מציעים לבנות סף ביטחון מפורש בדרך שבה דירוג נקודות ייחוס, כגון פיצוי תשובות הניתנות בביטחון גבוה וענישת ניחוש שגוי יותר מהימנעות, כך שהודאה בחוסר ודאות הופכת לאסטרטגיית דירוג טובה יותר.
מקורות
- arXiv — "Why Language Models Hallucinate" (OpenAI research paper, 2509.04664)
- TechCrunch — "Are bad incentives to blame for AI hallucinations?"
- TechCrunch — "OpenAI's new reasoning AI models hallucinate more"
- Computerworld — "OpenAI admits AI hallucinations are mathematically inevitable, not just engineering flaws"
כתבה זו הוכנה בעזרת בינה מלאכותית ועברה בדיקת מקורות אוטומטית לפני הפרסום. אם ראיתם טעות, בקשו תיקון. בקשת תיקון או זכות תגובה · איך אנחנו עובדים
כתבות קשורות
בינה מלאכותיתמאמר
כיצד למעשה עובדות צ'טבוטים של בינה מלאכותית כמו ChatGPT ו-Claude, הסבר
צ'טבוטים של בינה מלאכותית בנויים על מודלים גדולים של שפה (LLMs), רשתות עצביות המאומנות לחזות את "הטוקן" הבא בסדרה של טקסט. הם הופכים מילים למספרים, משתמשים במנגנון תשומת לב כדי לשקלל כיצד מילים קשורות זו לזו, ואז מכויילות עם משוב אנושי כדי להתנהג כמו עוזרים מועילים ולא כחיזוי טקסט גולמי.
בינה מלאכותיתמאמר
איך אלגוריתמי המלצות בבינה מלאכותית מחליטים מה אתה רואה וקונה ברשת
מערכות המלצות בבינה מלאכותית מותאמות אישית הזנות והצעות מוצר על ידי ניתוח מה משתמשים לוחצים, צופים, מדרגים וקונים, ואז התאמת התנהגות זו עם דפוסים מ-משתמשים דומים. פלטפורמות כמו Netflix, YouTube ו-Amazon אומרות שהן משתמשות בסימנים של התחייבות ותשומות הקשריות - וגם לא, במקרים מסוימים, נתונים דמוגרפיים - בעוד שרגולטורים בארה"ב ובאיחוד האירופי העלו חששות לגבי שקיפות ואיסוף נתונים מאחורי מערכות אלה.
בינה מלאכותיתמאמר
דמיס האסאביס אומר כעת שהבינה הכללית הממלאכותית עלולה להגיע תוך שנתיים עד שלוש שנים
דמיס האסאביס, מנכ"ל ומייסד משותף של Google DeepMind, אמר לכתב בעיתון וול סטריט ג'ורנל שהוא צופה כעת שהבינה הכללית הממלאכותית (AGI) תגיע תוך שנתיים עד שלוש שנים, פחות מחלון זמן של שלוש עד חמש שנים שהוא ציין בתחילת 2026. הוא מגדיר AGI באמצעות בדיקת "איינשטיין" ואומר שהאומדן שלו נע ברציפות קרוב יותר להווה.
בינה מלאכותיתמדריך
כיצד לאתר עמעומים עמוקים ותמונות שנוצרו על ידי בינה מלאכותית: מדריך שלב אחר שלב
זיהוי אמין של עמעום עמוק או תמונה שנוצרה על ידי בינה מלאכותית דורש שילוב של בדיקות חזותיות, כלים של מוצא כמו Content Credentials או SynthID וחיפוש תמונה הפוך — אין שיטה יחידה שתופסת כל עמעום. חוקרי גילוי מזהירים שכלים אוטומטיים עלולים להטעות על ידי עריכה פשוטה כמו חיתוך או דחיסה, כך שאימות הקשר נשאר חיוני.