איך רשתות נוירוניות עובדות: הטכנולוגיה מאחורי ChatGPT והבינה מלאכותית מודרנית

רשתות נוירוניות אינן חדשות — חוקרים חקרו אותן מאז אמצע המאה העשרים — אך כעת הן עומדות מאחורי רוב מוצרי הבינה המלאכותית לצרכנים בשימוש יומיומי. OpenAI אמרה בארוע DevDay שלה ב-29 בספטמבר 2026 כי ChatGPT הגיע ל-1.2 מיליארד משתמשים שבועיים, לפי רישום חי של האירוע על ידי Engadget. בגודל זה של אימוץ דחק שאלה טכנית בסיסית חזרה לראש תוצאות החיפוש: כיצד רשת נוירונית בעצם עובדת?

אבן הבניין הבסיסית: נוירונים, משקלות ושכבות

לפי IBM, רשת נוירונית היא מודל למידת מכונה הבנוי מיחידות פשוטות הנקראות נוירונים, מסודרות בשכבות, הלומדות משקלות והטיות בני התאמה מנתונים על מנת להמפות קלטים לפלטים. לכל רשת יש שכבת קלט המחזיקה בנתונים גולמיים, שכבה נסתרת אחת או יותר המשנה אותם, ושכבת פלט המייצרת את התוצאה הסופית, כפי ש-IBM מסביר.

לכל חיבור בין נוירונים יש משקל — מספר שפועל, לפי IBM, כמו כפתור שולט כמה חזקה תכונת קלט נתונה משפיעה על החלטת הרשת. ערך נפרד הנקרא הטיה מתווסף לכל נוירון כך שהוא יכול להפעיל גם כאשר הקלטים שלו חלשים, תוך הסטת סף ההחלטה. קורס Machine Learning Crash Course של Google מוסיף מרכיב שלישי הכרחי: פונקציות הפעלה, שלבים מתמטיים לא-ליניאריים המיושמים לאחר סיכום הקלטים המשוקללים, המאפשרים לרשת לגלות דפוסים שנוסחה ישר-קו פשוטה לא יכולה ללכוד.

התפשטות קדימה: איך רשת מייצרת תשובה

כאשר רשת נוירונית מקבלת נתונים חדשים, הנתונים הללו עברו דרך הרשת בכיוון אחד, משכבת הקלט לשכבת הפלט, במה ש-IBM וקורס Google קוראים התפשטות קדימה (או מעבור קדימה). בכל נוירון, הערכים הנכנסים מוכפלים בערכיהם, מסוכמים יחד עם ההטיה, ומועברים דרך פונקציית הפעלה לפני המעבר לשכבה הבאה. IBM מציינת שהשכבות המוקדמות בתוך רשת נוטות לעבד את חשיבות הסיגנלים הבודדים, בעוד ששכבות מאוחרות יותר משלבות מידע זה לדפוסים ברמה גבוהה יותר היוצרים הקשר רחב יותר.

התפשטות לאחור: איך רשת לומדת מהטעויות שלה

רשת נוירונית שחדש בנויה מתחילה עם משקלים בעצם אקראיים ומייצרת חיזויים גרועים. הדרכה היא תהליך תיקון זה. IBM מתארת התפשטות לאחור כאלגוריתם שמפיץ את שגיאת החיזוי של הרשת לאחור דרך השכבות, תוך שימוש בחוק השרשרת של חשבון כדי לחשב כמה כל משקל והטיה תרמו לשגיאה הכוללת. קורס Google בדומה מזהה התפשטות לאחור כאלגוריתם האימון הליבה, ומתאר את מטרתו כהתאמת משקלות לצמצום או למינימום הפסד החיזוי של הרשת.

ברגע שידוע תרומת כל משקל לשגיאה, שיטת אופטימיזציה הנקראת ירידת גרדיאנט דוחפת כל משקל מעט בכיוון המקטין את השגיאה. מחזור זה של מעבור קדימה ואחר כך תיקון לאחור חוזר על עצמו על כמויות גדולות של נתוני הדרכה — לעתים קרובות מיליונים או מיליארדי דוגמאות — עד שחזויים הרשת הופכים אמינים מספיק לשימוש מעשי.

עיצובי רשת שונים לסוגי נתונים שונים

לא כל רשת נוירונית בנויה באותו הדרך. IBM מזהה שלוש משפחות רחבות בשימוש כיום: רשתות נוירוניות קונבולוציוניות (CNNs), מעוצבות עבור נתונים דמויי רשת כמו תמונות ומשמשות בכבדות בזיהוי חזותי; רשתות נוירוניות חוזרות (RNNs), הכוללות לולאות משוב המתאימות לנתונים סדרתיים או נתוני סדרות זמן; וטרנספורמרים, האדריכלות מאחורי רוב מודלי השפה הגדולים של היום, המסתמכים על מנגנון תשומת לב במקום רצף מדויק.

כיצד זה מתאים למערכות כמו ChatGPT

מודלי שפה גדולים כמו משפחת GPT מיישמים את אותם מנגנונים ליבה — נוירונים משוקללים, שכבות, התפשטות קדימה, התפשטות לאחור — בסולם גדול הרבה יותר, תוך שימוש בארכיטקטורת Transformer. מאמרה המחקרי שלה של OpenAI משנת 2020 ב-GPT-3, שפורסם ב-arXiv, קובע כי המודל היה בדיוק 175 מיליארד פרמטרים, ומתאר אותו כ-"10 פעמים יותר מכל מודל שפה לא-דל קודם." פרמטרים הוא המונח הכללי לערכת המלאה של משקלות והטיות של הרשת; יותר פרמטרים בדרך כלל מאפשרים למודל ללכוד דפוסים מורכבים יותר בשפה, אם כי OpenAI לא פרסמה ספרות פרמטר שקולות לנתונים החדשים שלה.

בתוך Transformer, מנגנון הנקרא self-attention מאפשר למודל לשקול כמה כל מילה אחרת בקטע רלוונטית למילה המעובדת כרגע, במקום לקרוא בקפדנות משמאל לימין. עיצוב זה, המוצג לראשונה בחקר Transformer והעכשו סטנדרטי על פני מודלי שפה ראשיים, הוא מה שמאפשר למערכות כמו ChatGPT לעקוב אחר הקשר על פני שיחה ארוכה.

למה זה חשוב עכשיו

המתמטיקה הבסיסית של נוירונים, משקלות והתפשטות לאחור קיימת כבר עשרות שנים, אך השילוב של מערכות נתונים גדולות יותר, יותר כוח מחשוב, וארכיטקטורת Transformer הוא מה שהפך רשתות נוירוניות מכלי מחקר תמיד לנוירון מאחורי מוצרי צרכנים המשמשים יותר ממיליארד אנשים בשבוע, לפי נתונים משלה של OpenAI בספטמבר 2026 כפי שדווח על ידי Engadget. הבנת מחזור המעבור קדימה-ותיקון-לאחור המתואר על ידי IBM ו-Google אינה דורשת מתמטיקה מתקדמת, אך היא מסבירה מדוע מערכות אלה זקוקות לכמויות עצומות של נתוני הדרכה וכוח מחשוב, ומדוע התפוקות שלהן הן חזויים סטטיסטיים ולא עובדות מובטחות.