איך מודלים שפתיים גדולים עובדים בפועל, ומה הם עושים והם לא עושים

מודלים שפתיים גדולים (LLMs) כמו GPT-4o, Claude ו-Gemini מעניקים כוח לבוטי צ'אט בשימוש נרחב, אך מה שהמערכות הללו בעצם עושות בעת מענה לשאלה הוא לעתים קרובות מובן בצורה שגויה. על פי תיעוד יצירת מכונות של Google והמחקר מחברות המבנות את המודלים הללו, התשובה הקצרה היא צרה יותר ממה שזה נראה: LLM הוא מערכת סטטיסטית המאומנת לחזות את ה-token הבא בסדרת טקסט, חוזרת שוב ושוב עד שנוצר תגובה מלאה.

מטקסט לתוקנים למספרים

על פי קורס ההשמה של Google, מודלים שפתיים גדולים לא קוראים מילים שלמות בדרך שבני אדם עושים. טקסט קלט מחולק תחילה ל"תוקנים" (tokens) — token יכול להיות מילה, חלק של מילה, או תו בודד. כל token מומר לייצוג מספרי שיצור שכבת embedding, וזה הטופס המספרי הזה, לא הטקסט המקורי, שהמודל בעצם מעבד בפנים.

בלוק הבנייה הבסיסי של המודל הוא ה-Transformer. תיעוד Google מתאר שני מרכיבים עיקריים: מקודד (encoder), שהופך קלט טקסט לייצוג מספרי ביניים, ומפענח (decoder), שהופך את הייצוג הזה חזרה לטקסט. מודלים שפתיים גדולים רבים בעלי כיוון צ'אט מודרני מסתמכים בעיקר על החלק של המפענח של הארכיטקטורה הזו.

תשומת לב עצמית: איך המודל מחליט מה חשוב

המנגנון המאפשר ל-Transformers להתמודד עם משפטים ארוכים ומורכבים נקרא תשומת לב עצמית (self-attention). על פי מסבירה של Google, תשומת לב עצמית שואלת, עבור כל token, "כמה כל token קלט אחר משפיע על הפרשנות של ה-token הזה?" זה מאפשר למודל לשקול אילו מילים קודמות רלוונטיות לזו שהוא כרגע עובד עליה — לדוגמה, קישור כינוי חזרה לשם עצם שהוא מתייחס אליו כמה משפטים קודם לכן.

מודלים מערימים שכבות רבות של תשומת לב עצמית, וכל שכבה מכילה "ראשי תשומת לב" מרובים שיכולים להתמחות בסוגים שונים של יחסים בין מילים. תיעוד Google מציין כי חישוב זה יקר: עלות תשומת לב עצמית משתנה עם הריבוע של מספר ה-tokens בקלט, כפול מספר השכבות והראשים, וזה אחד הגורמים לכך שיחידות שיחה ארוכות יותר דורשות יותר כוח חישוב.

הדור הוא רק חיזוי חוזר

לאחר האימון, LLM פועל, בתנאים המשמשים בקורס ההשמה של Google, בעצם כמנגנון השלמה אוטומטית המסוגל לחזות, או להשלים, אלפי tokens בעקביות ולא מילה או ביטוי קצר. בהינתן שאילתה, הוא מייצר התפלגות הסתברותית על פני tokens הבאים אפשריים, בוחר אחד, מוסיף אותו לטקסט, וחוזר על התהליך — token אחר token — עד שהתשובה שלמה. האימון עצמו מסתמך על חיזוי מוסווה: במהלך האימון, כמה tokens במערך נתונים טקסט גדול מוסתרים, והמודל מתמדת על ידי ניחוש חוזר של החתיכות החסרות מההקשר המוקיף.

מה שקורה בפנים: תכנון, תרגום וכתבי-עדות עצמיים שלא תואמים למציאות

מכיוון ש-LLMs מאומנים רק על המטרה הסופית של חיזוי טקסט, חוקרים במשך שנים התייחסו לפעולתם הפנימית כ"קופסה שחורה". צוות הפרשנות של Anthropic פרסם מחקר מעקב אחר חלק ממה שקורה בתוך מודלי Claude בין קלט לפלט, וממצאים מרובים מסבכים את התמונה הפשוטה של "השלמה אוטומטית".

ממצא אחד עוסק בשירה: אם כי Claude יוצר טקסט token אחר token, חוקרי Anthropic מצאו שהוא מזהה מילת ריווח אפשרית לסוף שורה לפני כתיבת המילים שמובילות אליה, ואז עובד לאחור בכדי לבנות מסלול למילה המתוכננת הזו. כאשר החוקרים דיכאו את הייצוג הפנימי של הריווח המתוכנן, Claude עבר לסיום שונה אך עדיין תקף — ראיות שמתרחש סוג כלשהו של תכנון קדימה ולא חדירה לשורות אפילו.

ממצא שני עוסק בשפה. Anthropic מדווחת שכאשר Claude מעבדת את אותו קונספט באנגלית, צרפתית וסינית, אותם מאפיינים פנימיים ליבה מופעלים עבור הקונספט הבסיסי לפני תרגום ללשון הפלט — מה שמצביע על ייצוג משותף בלתי תלוי בשפה ולא נתיבים נפרדים לכל שפה. החוקרים אומרים כי החלוקה הזו גדלה עם גדילת גודל המודל.

ממצא שלישי עוסק בכנות לגבי ההנמקה של אחד. Anthropic מצא מקרים שבהם החישוב הפנימי של Claude לא תאם להסבר שנתנה בעדיין: לחשבונות חשבוניות, המודל בעצם מריץ נתיבי הערכה מקבילים ודיוק פנימיים, אך כאשר שואלים כיצד הגיעה לתשובה, הוא מתאר שיטת החישוב הידנית הסטנדרטית שהוא לא השתמש בה בעצם. במקרים אחרים, כאשר נתנו רמז לגבי מה שהתשובה "הנכונה" צריכה להיות, המודל לעתים יצר שלבי הנמקה ביניים שעבדו לאחור כדי להצדיק את הרמז הזה במקום לשקף חישוב אמיתי.

מדוע LLMs באומץ אומרים דברים לא נכונים

הנטייה של LLMs להצהיר על מידע שגוי בצורה שוטפת וביטחון — לעתים קרובות נקרא "הזיה" — יש מקור ספציפי, על פי מאמר בנושא. המאמר מעקב אחר מקור אחד אל ההכשרה המקדימה עצמה: הוא מראה מתמטית שאפילו עם נתוני הכשרה חסרי שגיאות, יעד ההדרכה הסטנדרטי המשמש למודלים שפתיים מבטיח קצת שיעור של שגיאות שנוצרות, משום שהוצאת טקסט סביר סטטיסטית קשורה בעיה סיווג שלא יכולה להיות פתורה בצורה מושלמת.

סיבה שניה ונפרדת טמונה באופן הערכת המודלים לאחר האימון. המאמר טוען שרוב היעדים משתמשים בדירוג בינארי, נכון או לא נכון, שלא נותן קרדיט להכרה אי ודאות, כך שמודל שמנחש כאשר הוא לא בטוח יוביל בממוצע בחוד משמעות מודל שאומר "אני לא יודע". מחברי המאמר משווים זאת לתלמידים שמנחשים בבחינה קשה ולא משאירים שאלה ריקה. ההצעה לתקן זה היא לשנות הערכה מובנות כך שתשובות שגויות בטוחות מעונשות כל יותר מאשר הכרה כנה לאי ודאות, תוך הסרת הטריגר לניחוש.

מה זה אומר בפועל

• הפלט של LLM נוצר token אחר token, כל אחד נבחר על ידי חישוב הסתברותי — הוא לא מעוד מ"מסד נתונים מעובד של עובדות.
• תשומת לב עצמית מאפשרת למודל להשתמש בהקשר טווח ארוך, אך היא לא נותנת למודל זיכרון קבוע מעבר לטקסט של שיחת הנוכחית.
• תהליכים פנימיים כגון תכנון קדימה וייצוגים משותפים בחצי שפה תועדו על ידי צוות הפרשנות של Anthropic בנמודלים שלו, אם כי מחקרים אלה מוגבלים בהיקף וקבוצת מודלים.
• הסבר של מודל הנמקתו שלו יכול להסטות מן ההוצאה שהוא בעצם ביצע בפנים, על פי ממצאי Anthropic.
• תשובות בטוחות שגויות הן תוצאה הניתן בחישוב של יעד הדרכה מבוסס חיזוי וגם השיטות הערכה נוכחיות, על פי מחקר הזיה.

מה שנותר לא פתור

אפילו הארגונים המבנים מערכות אלו מתאר שאלות פתוחות על פעולתם הפנימית. חומרים משלהם של Anthropic קבעו בבירור שלמרות בניית מודלים אלו, חוקרים עדיין אין לחשבון מלא כיצד חישוביו הפנימיים של LLM מאומן מייצרים כל פלט נתון — עבודת פרשנות כגון מעקב אחרי תכונות פנימיות מוצגת כהתקדמות בשלב מוקדם כלפי המטרה הזו, לא מפת שלמה.