כיצד פועלת בינה מלאכותית גנרטיבית: הסבר על ייצור טקסט, תמונות וקוד

למרות שהם מכסים פלטים שונים מאוד, מייצרי טקסט, מייצרי תמונות וסייעי קוד חולקים בסיס משותף: רשת עצבונית שהוכשרה על כמויות גדולות של נתונים לומדת דפוסים סטטיסטיים, ואז משתמשת בדפוסים אלו כדי לבנות תוכן חדש קטע אחרי קטע במקום להחזיר תשובה מאוחסנת.

ייצור טקסט: חיזוי הטוקן הבא

מודלים לשפה גדולים כמו אלה שמאחורי צ'אטבוטים מפרקים ראשית את הטקסט ליחידות קטנות הנקראות טוקנים, שיכולות להיות מילים שלמות או חלקים של מילים, על פי ההסבר הטכני של IBM על מודלים של טרנספורמר, שפורסם ב-28 במרץ 2025. כל טוקן מומר לוקטור מספרי, הנקרא הטמעה, המייצג את משמעותו, וקטור שני מתווסף כדי לקודד את מיקום הטוקן במשפט.

המנגנון הליבה הוא התייחסות עצמית: לכל טוקן, המודל מחשב את הרלוונטיות של כל טוקן אחר בקלט, תוך שימוש בשלוש וקטורים שנלמדו לכל טוקן - שאילתה, מפתח וערך, על פי IBM. זה מאפשר למודל לשקול הקשר מכל מקום בטקסט בו זמנית, במקום לקרוא מילה אחר מילה כשם שעשו אדריכלויות קדומות יותר. טרנספורמרים עם דקודר בלבד, האדריכלות מאחורי מודלים כמו GPT, ואז יוצרים טקסט באופן אוטו-רגרסיבי - חיזוי טוקן אחד בכל פעם והזנת הטוקן הזה בחזרה כדי לחזות את הבא, כפי שמסביר IBM.

מחקר מאנתרופיק, שפורסם באתר שלה תחת הכותרת 'Tracing the thoughts of a large language model', מצא כי תהליך חיזוי הטוקן הבא יכול להיות כרוך בתכנון רב יותר מאשר נראה מבחוץ. בניסוי אחד, כאשר מודל Claude שלה היה כותב שורת שיר, הוא הפעיל תכונות פנימיות המתאימות למילת ריחור אפשרית לפני כתיבת שאר השורה, ואז התאים את הניסוח שלו כדי להגיע למילה זו. בבדיקה אחרת, המודל ענה על שאלה ממולטי-שלב - כמו זיהוי בירת המדינה שמכילה את דאלאס - על ידי הפעלה ראשית של ייצוג פנימי עבור 'טקסס' ואחר כך שחזור נפרד של 'אוסטין', במקום קפיצה ישירה לתשובה, כפי שדיווחה אנתרופיק.

אנתרופיק גם מצאה פער בין החישוב הפנימי של המודל וההתיאור שלו את החישוב הזה: כאשר נשאלה כיצד ביצעה חישוב מתמטי, Claude תיארה שיטה סטנדרטית, אך התהליך הפנימי שאנתרופיק תיעדה השתמשה בגישה שונה ומקבילה, המשלבת אומדן גס עם עקיבוי נפרד של הספרה הסופית.

ייצור תמונות: הסרת רעש שלב אחרי שלב

רוב כלי הטקסט-לתמונה המודרניים, כולל Imagen של Google, משתמשים במודלים של דיפוזיה, אשר עובדים בכיוון ההפוך מייצור הטקסט. על פי דף המחקר Imagen של Google, המערכת מתחילה עם מודל לשפה גדול קפוא - T5-XXL - המומר את הנחיית הטקסט להטמעה, אותו סוג של ייצוג מספרי המשמש במודלים לטקסט. חוקרי Google מציינים כי הגדלת גודל מקודד הטקסט השיגה שיפור באיכות התמונה יותר מאשר הגדלת החלק המייצר תמונות של המודל.

מודל דיפוזיה לוקח את ההטמעה של הטקסט ויוצר תמונה קטנה של 64x64 פיקסל. הוא עושה זאת על ידי התחלה מרעש חזותי אקראי והרצה של תהליך 'הסרת רעש' איטרטיבי, שבו המודל חוזה שוב ושוב ומסיר קצת רעש, בהנחיית ההטמעה של הטקסט, עד שתמונה בעלת רזולוציה נמוכה קוהרנטית נשארת, על פי התיאור של Google. התמונה מוגדלת לאחר מכן באמצעות שני מודלי דיפוזיה נוספים, תחילה ל-256x256 פיקסל ואחר כך ל-1024x1024 פיקסל, דבר שGoogle קוראת לו דיפוזיה בעל רזולוציה עוליונה.

כדי לאפשר למודל לעקוב אחרי הנחיית הטקסט בצמוד יותר, דף המחקר של Imagen של Google אומר כי Imagen מציגה 'דגימת דיפוזיה סף חדשה', המשמשת לצד שיטה הידועה כהנחיה חסרת מסווג, המאפשרות יחד את השימוש במשקלות הנחיה הרבה יותר גדולים. Google דיווחה כי בהערכות של אנשים, שופטים שיפטו את הפלט של Imagen כשווה ערך לתצלומים אמיתיים של ייחוס עבור התאמת הנחיית הטקסט, והעדיפו אותה על פני מערכות טקסט-לתמונה אחרות, כולל DALL-E 2, על מדד שGoogle בנתה בשם DrawBench.

ייצור קוד: הצעות בנויות מהקשר

סייעי קוד בינה מלאכותית כמו GitHub Copilot מיישמים את אותה גישת חיזוי טוקן בטרנספורמר, המשמשת לטקסט כללי, אך מאומנת באופן ספציפי על קוד תכנות ומותאמת למרחב העבודה של מפתח. על פי התיעוד שלו של GitHub, Copilot פועל בשני מצבים ראשיים: מצב 'סייע' המציע קוד, עונה על שאלות, או מסביר קוד בזמן שמפתח מקליד, ומצב 'סוכן' שבו מפתח מתאר יעד ו-Copilot עובד דרך מספר שלבים - חוקר במאגר, מציע תוכנית, עורך קבצים, והפעלת כלים כדי להשלים משימה.

התיעוד של GitHub קובע כי יכולותיו של Copilot משתרעות גם על התאמות אישיות, כגון הוראות ספציפיות למאגר וביטוחי כלים חיצוניים, וכי כמה תכונות עובדות באופן אסינכרוני, מה שמאפשר לסוכן קוד לבצע שינויים ולפתוח או לעדכן בקשות משיכה ללא פיקוח מתמיד. GitHub לא מציינת בפומבי כל מודל שבו משתמשים או את הפרטים הטכניים המלאים של אופן בחירת ההקשר והעברתו למודל הבסיס, על פי התיעוד הנוכחי שלה.

כיצד משתוו השלושה

כל שלוש הגישות תלויות בנתוני הדרכה: הדפוסים הפנימיים של המודל באים מהטקסט, התמונות או הקוד שהוא נחשף להם במהלך ההדרכה, והפלט שלו הוא רצף חדש שנוצר או תמונה מעוצבת בדפוסים שנלמדו במקום העתק של כל דוגמה אימון בודדת.