מאות מיליונים של אנשים מקלידים שאלות ל-ChatGPT, Claude, Gemini או כלים דומים כל יום, אך התוכנה שמאחוריהם מתוארת לעתים קרובות כ"קופסה שחורה" מסתורית. לפי קורס Machine Learning Crash Course של Google והסבר של כותב המדע Timothy B. Lee שפורסם ב-Understanding AI, המנגנון הליבה פשוט יותר לתאור מכפי שנראה: מודל שפה גדול (LLM) הוא רשת עצבית שאומנה לחזות את הקטע הקטן הבא של טקסט, הנקרא טוקן, בהתחשב בהכל שבא לפניו.
מילים למספרים: טוקנים והטמעות
לפני שה-LLM יכול לעבד טקסט, הוא מפצל בקשה לטוקנים - יחידות שיכולות להיות מילה שלמה, חלק ממילה או תו בודד, לפי תיעוד המפתחים של Google. כל טוקן מומר לווקטור, רשימה ארוכה של מספרים הנקראת הטמעה, שנועדה ללכוד משהו על משמעות הטוקן. ההסבר של Understanding AI משווה זאת לקואורדינטות גיאוגרפיות: מילים עם משמעויות דומות מסתיימות במיקום קרוב זו לזו בחלל מספרי ענק, בדרך שערים קרובים חולקים קו רוחב ואורך דומים.
תשומת לב: כיצד המודל עוקב אחר הקשר
הארכיטקטורה שמאחורי כמעט כל מודלי שפה מודרניים נקראת Transformer. קורס Crash Course של Google מסביר שה-Transformer מסתמך על מנגנון הנקרא self-attention, המחשב כמה כל טוקן בקטע טקסט צריך להשפיע על הפרשנות של כל טוקן אחר. Understanding AI ממחיש זאת באמצעות וקטורים של שאילתות ומפתחות: כל מילה בעצם בונה רשימת בדיקה של סוג המילים האחרות שהיא מחפשת, ותשומת הלב תאמה את רשימות אלה על פני המשפט כדי שהמודל יוכל, לדוגמה, להבין איזה שם עצם מתייחס הכינוי "it".
שלב זה מעוקב על ידי שכבות feed-forward המעבדות את הייצוג המעודכן של כל מילה ודוחפות את המודל להנבא את הטוקן הבא שצריך לבוא, כפי ש-Understanding AI מציין. מכיוון שתשומת לב מאפשרת לכל טוקן להסתכל ישירות על כל טוקן אחר ללא קשר למרחק, מודלי Transformer מטפלים בקטעים ארוכים ומורכבים בעקביות רבה יותר מאשר המודלים הרציפים שקדמו להם.
הדרכה: מיליארדים של ניחושים, ללא תוויות אנושיות נדרשות
LLMs מאומנים בעיקר באמצעות למידה ללא פיקוח על חיזוי masked או next-token, כלומר המערכת לא מקבלת תשובות "נכונות" שנכתבו ביד לרוב ההדרכה שלה. במקום זאת, התיעוד של Google מתאר תהליך שבו טוקנים בטקסט אמיתי מוסתרים והמודל צריך לנחש אותם; Understanding AI מתאר את אותה הרעיון במונחים של חיזוי המילה הבאה בקולקציות ענקיות של טקסט שנרשימו מספרים, אתרי אינטרנט ומקורות אחרים. פרמטרים בתוך הרשת - Understanding AI מצטט 175 מיליארד מהם ב-GPT-3, מאומנים על כ-500 מיליארד מילים - מתחילים בעריכה אקראית ומתכווננים בהדרגה, ניחוש אחרי ניחוש, עד שההערכות של המודל מתיישרות עם טקסט אמיתי.
הפוך מודל גולמי למסייע מועיל
מודל שאומן רק לחזות את הטוקן הבא אינו באופן אוטומטי צ'טבוט המקבל הוראות בנימוס. מסביר טכני של Hugging Face על Reinforcement Learning from Human Feedback (RLHF) מתאר את השלבים הנוספים שחברות כמו OpenAI משתמשות בהם כדי להמיר מודל בסיס למסייע. ראשית, ניתן לשפר את המודל המאומן מראש באמצעות fine-tuning בפיקוח על שיחות לדוגמה. שנית, סוקרים אנושיים דורגים תגובות מודל מרובות לאותה בקשה, והדירוגים האלה מאמנים מודל פרס נפרד שלומד לדרג פלטים בדרך שאדם היה.
בשלב השלישי, המודל המקורי מותאם באמצעות reinforcement learning - בדרך כלל Proximal Policy Optimization - כך שהוא מייצר תגובות שמודל הפרס דורגן גבוה, בעוד עונש מתמטי מונע ממנו להסטות כל כך רחוק מהתנהגותו המקורית שהוא מתחיל ליצור שטויות פשוט כדי לשחק את ציון הפרס, לפי תיאור של Hugging Face של השיטה.
למה צ'טבוטים עדיין ממציאים דברים
עיתון שפורסם על ידי חוקרי OpenAI, "Why Language Models Hallucinate," זמין ב-arXiv, טוען שתשובות בדויות אינן פשוט באג להיתקן. העיתון מייחס הזיות לשני גורמים קשורים: תוצר סטטיסטי של כיצד מודלים לומדים לחזות המשכים סבירים במהלך pretraining, והדרך בה מודלים מוערכים לאחר מכן. רוב מדדים ולוחות דירוגים מדרגים תשובה כנכונה או שגויה ומתייחסים להודאה בחוסר ודאות - "I don't know" - כתשובה שגויה, כמו שהעיתון קובע. הגדרה זו מתגמלת ניחוש ודאות על פני כנות לגבי חוסר ודאות, מה שדוחף מודלים להמשיך לייצר הצהרות שוטפות וברות צליל גם כאשר הם חסרים בסיס אמין להן.
מה המודל בעצם עושה, במשפט אחד
יחד, התהליך המתואר בכל המקורות הללו הוא: צ'טבוט הופך בקשה לטוקנים, הופכים אותם להטמעות מספריות, משתמש בשכבות self-attention כדי לשקלל כיצד כל טוקן קשור לכל טוקן אחר, וחוזר ונשנה חוזה את הטוקן הבא הסביר ביותר - תהליך המעוצב, לאחר pretraining, על ידי משוב אנושי שנועד לגרום לניבויים אלה דומים לתשובות מועילות ועוקבות הוראות ולא טקסט אינטרנט גולמי.
שלבים עיקריים של בניית צ'טבוט בינה מלאכותית| שלב | מה קורה | בסיס המקור |
|---|
| Tokenization | הטקסט מחולק ליחידות מילה או תת-מילה וממיר למזהים מספריים | Google ML Crash Course |
|---|
| Embedding | כל טוקן הופך לווקטור של מספרים המקודדים משמעות | Understanding AI |
|---|
| Self-attention | המודל מחשב כמה כל טוקן צריך להשפיע על כל טוקן אחר | Google ML Crash Course; Understanding AI |
|---|
| Pretraining | המודל חוזה טוקנים masked או next בקורפוסי טקסט ענקיים (למשל, ~500 מיליארד מילים עבור GPT-3) | Understanding AI |
|---|
| Supervised fine-tuning | למודל מוצגות שיחות לדוגמה כדי להחקות התנהגות עוקבת הוראות | Hugging Face RLHF explainer |
|---|
| Reward modeling | אנשים דורגים פלטים מודל מרובים; דירוגים מאומנים מודל ניקוד פרס | Hugging Face RLHF explainer |
|---|
| RL policy optimization | המודל מותאם באמצעות reinforcement learning (למשל, PPO) כדי למקסימום את ציון הפרס | Hugging Face RLHF explainer |
|---|
![The number of publications about Large Language Models by year grouped by publication types. The patent data for 2024 and 2025 are incomplete due to Patent Publication Delay. [ 1 ]](https://upload.wikimedia.org/wikipedia/commons/thumb/8/81/The_number_of_publications_about_Large_Language_Models_by_year.png/1280px-The_number_of_publications_about_Large_Language_Models_by_year.png)
