מה זה בעצם רשת עצבית
לפי IBM, רשת עצבית היא מודל למידה חישובית שנבנה מיחידות עיבוד פשוטות הנקראות נוירונים, מסודרות בשכבות, שלומדות משקלים והטיות המזהות דפוסים מנתונים כדי ליצור מיפוי מקלטים לפלטים. לכל רשת יש שכבת קלט המקבלת נתונים גולמיים, שכבה או יותר נסתרות המעבדות נתונים אלה, ושכבת פלט המייצרת את התוצאה הסופית, כמו תוויות או חיזוקה.
כל נוירון מכפיל את הערכים הנכנסים שלו במספרים הנקראים משקלים, מוסיף טווח הטיה, ומעביר את התוצאה דרך פונקציית הפעלה לא ליניארית. IBM משווה משקלים לכפתורים שקובעים כמה השפעה לכל קלט על התוצאה, בעוד שהטיות מתאימות את הנקודה שבה נוירון הופך להיות פעיל.
איך אימון עובד: מעבר קדימה ואחורה
MIT News עוקבת אחר הרעיון חזרה ל-1944, כאשר וורן מקקלוק וולטר פיטס, שנעברו מאוחר יותר ל-MIT, הציעו לראשונה את הרעיון של צמתי עיבוד מחוברים. בעיצוב המקורי, כל צומת מסכמת את התשומות המשוקללות שלה ו'יורה' אם הסכום עובר סף, תוך שליחת אות לשכבה הבאה במה שMIT קוראת ארכיטקטורת הזנה קדימה.
האימון מתחיל עם משקלים אקראיים. IBM מסבירה שהרשת תחילה מריצה צעד של 'התפשטות קדימה', העברת נתוני קלט דרך השכבות כדי לייצר חיזוקה. פונקציית אובדן אז מודדת את הפער בין החיזוקה זו לתשובה הנכונה, תוך שימוש בנוסחאות כמו שגיאה ריבועית ממוצעת לחיזוקות מספריות או אנטרופיה צולבת למשימות סיווג, לפי IBM.
הרשת אז מריצה 'התפשטות אחורה', מחשבת, שכבה אחר שכבה, כמה כל משקל בודד תרם לשגיאה, תוך שימוש בכלל חשבון הנקרא כלל השרשרת. שלב אופטימיזציה הנקרא ירידת גרדיאנט אז משתמש בחישובים אלה כדי לדחוף כל משקל מעט בכיוון שמפחית את השגיאה. חזרה על מחזור זה אלפים או מיליונים של פעמים בדוגמאות אימון היא מה שגם IBM וגם MIT מתארות כיצד הרשת 'לומדת'.
מדוע הלמידה העמוקה הטילה
'לימוד עמוק' מתייחס לרשתות עם שכבות נסתרות רבות שונות ולא רק אחת. MIT News מציינת כי רשתות בשכבה אחת משנות ה-1960 וויתרו על רשתות מודרניות עם 10 עד 50 שכבות או יותר. תנופת המחקר קרסה לאחר פרסום ספר בשנת 1969 על ידי מרווין מינסקי וסימור פפרט של MIT המראה את המגבלות של רשתות בשכבה אחת, לפי MIT News, והחלימה רק בחלקה בשנות ה-80 לפני ירידה שנייה בתחילת שנות ה-2000.
התחייה המודרנית של התחום, אותו MIT מתאריך לסביבות 2010, הונעה על ידי יחידות עיבוד גרפיקה (GPUs) שנבנו במקור למשחקי וידאו, מה שהפך את זה למעשי להפעיל את המספר העצום של חישובים שרשתות עמוקות דורשות. IBM מוסיפה שעוצמה חישובית זו, בשילוב עם מערכי נתונים גדולים בהרבה, אפשרה לפרמטרים בדגמים גדולים של ימינו למספר במיליארדים.
ארכיטקטורות למידה עמוקות עיקריות ומה הן משמשות| ארכיטקטורה | שימוש טיפוסי | מקור |
|---|
| רשת עצבית קונבולוציונית (CNN) | זיהוי תמונות, תוך שימוש בסינונים הסורקים דפוסים מקומיים | IBM |
|---|
| רשת עצבית חוזרת (RNN) | נתונים רציפים כמו טקסט או סדרות זמן, דרך מצב נסתר דמוי זיכרון | IBM |
|---|
| שנאי (Transformer) | תשומת לב עצמי על פני רצפים; מעניק כוח למודלים לשוניים גדולים מודרניים | IBM |
|---|
| מודל דיפוזיה | יוצר תמונות על ידי היפוך תהליך של הוספת רעש שלב אחר שלב | IBM |
|---|
| מקודד אוטומטי (Autoencoder) | דוחס נתונים לייצוג קטן יותר למשימות הפחתה או יצירה | IBM |
|---|
בעיית 'הקופסה השחורה': מדוע קשה להסביר החלטות
אפילו רשת שהודרכה באופן מלא יכולה להיות קשה לפרשנות. MIT News מציינת שלאחר אימון, לעתים קרובות לא ברור מה בעצם מייצגים הגדרות המשקל הסופיות, או אילו תכונות של תמונה מערכת מאומנת מסתמכת ואיך היא משלבת אותן. אי-שקיפות זו, המכונה לעתים 'בעיית הקופסה השחורה', שונה מהאופן שבו נבנית רשת — זה נוגע להבנה מדוע רשת מאומנת ספציפית מייצרת החלטה מסוימת.
מדוע זה חשוב עכשיו
המכניקה למעלה עומדת מאחורי התרחבות מהירה בשימוש בבינה מלאכותית בחיי היומיום. דוח Stanford HAI 2026 AI Index מצא שאימוץ ארגוני של בינה מלאכותית יוצרת הגיע ל-88% בשנת 2025, וכי בינה מלאכותית יוצרת הגיעה ל-53% אימוץ ברמת אוכלוסיה תוך שלוש שנים מהכנסתה לשוק ההמוני — אשר הדוח מציין שהיא מהירה יותר מאשר מחשב אישי או אינטרנט הגיעו לרמה זו. אותו דוח מציב השקעה פרטית בינה מלאכותית בארה״ב בשנת 2025 ב-285.9 מיליארד דולר, יותר מ-23 פעמים מ-12.4 מיליארד דולר השקיע בסין בשנה זו.
דוח Stanford גם גילה שביצוע מודל בינה מלאכותית על מעיינות קידוד כמו SWE-bench Verified עלה מכ-60% לקרוב ל-100% תוך שנה אחת, וכי מספר מודלים עכשיו עומדים או חוצים קו בסיס אנושי בשאלות מדע ברמת דוקטורט ומתמטיקה תחרותית. אף אחד מהמצוינויות יכולת אלו לא משנה את המנגנון הבסיסי המתואר למעלה — חיבורים משוקללים מותאמים דרך התפשטות אחורה וירידת גרדיאנט — רק הקנה המידה שעליו הוא מיושם.
