השפה הזו תורגמה אוטומטית ולא נבדקה על ידי אדם.

היסטוריה · מאמר

מקוד מכונה ל-ChatGPT: כיצד התכנות השתנה בשמונה עשורים

פורסם:

ENIAC (Electronic Numerical Integrator And Computer) in Philadelphia , Pennsylvania . Glen Beck (background) and Betty Snyder (foreground) program the ENIAC in building 328 at the Ballistic Research Laboratory (BRL).
תמונה: Unknown author Unknown author · Public domain · Wikimedia Commons

בקצרה

תכנות תוכנה התחיל עם מהנדסים שהגדירו הוראות בינאריות גולמיות ביד, ואז עבר דרך שפות שנבנו לאנשים - Fortran, C, Python - לפני שמערכות בינה מלאכותית של היום, שנבנו על ארכיטקטורת ה-Transformer משנת 2017, התחילו להפיק קוד וטקסט בעצמן. כתבה זו עוקבת אחרי שינוי זה דרך אבני דרך מתוארכות שאומתו על ידי IBM, חברת IEEE למדעי המחשוב, קולג' Dartmouth והעיתון המחקרי המקורי של ארכיטקטורת Transformer.

גרסה זו היא תרגום מכונה של המקור (English). לקריאת המקור

התכנות של תוכנה לא התחיל בהקלדת פקודות לשפה ברמה גבוהה. המחשבים האלקטרוניים המוקדמים ביותר הוגדרו הוראה אחר הוראה בתבניות בינאריות גולמיות שהחומרה שלהם יכלה לקרוא ישירות - מה שכעת נקרא קוד מכונה. משם, התכנות עבר דרך שפת הרכבה, ואז שפות ברמה גבוהה שנבנו לאנשים במקום למעבדים, וב-10 השנים האחרונות למערכות היוצרות את הקוד והטקסט שלהן. התאריכים והנתונים להלן מגיעים מהיסטוריית הקורפוראציה של IBM, חברת IEEE למדעי המחשוב, חשבון קולג' Dartmouth על סדנת 1956 שלה, ומאמר המחקר משנת 2017 שהציג את ארכיטקטורת ה-Transformer המשמשת בעוזרי הדו-שיח של היום.

מקוד מכונה לזיכרונות

לפי ציר הזמן שפורסם על ידי חברת IEEE למדעי המחשוב, אחת מהשפות התכנות המוקדמות ביותר הייתה Plankalkul, שפותחה על ידי המהנדס הגרמני Konrad Zuse בשנות ה-1940. עד 1949, שפת הרכבה ומערכת הנקראת Shortcode הופיעו, תוך החלפת מחרוזות ארוכות של ספרות בינאריות בקודים מנמוניים קצרים - אך עדיין היה צריך לתרגם את הקודים האלה, שורה אחר שורה, לפורמט שהמעבד יכול להפעיל.

שפות ברמה גבוהה: כתיבה לאנשים, לא למעבדים

התמורה האיצה בשנת 1957, כאשר IBM סיפקה את Fortran, קיצור של 'formula translation'. הסטוריית הפרויקט של IBM עצמה קובעת שצוות בהנהגת המתמטיקאי John Backus - שכלל את Lois Haibt, שבנתה את מנתח ביטוי חשבוני של המהדר - בילה שלוש שנים בשפה שבה צפוי בתחילה לקחת שישה חודשים. IBM אומרת שFortran הפחיתה תוכניות שדרשו בעבר בערך 1,000 הוראות קוד מכונה לכל עד 47 שורות, מה שאפשר למדענים ומהנדסים לכתוב פקודות דומות לאלגברה כגון 'DO' ו-'GO TO' במקום קידוד ישיר של החומרה. עד אמצע שנות ה-1960, Fortran הפכה לתקן חישוב לאומי, לפי IBM.

ציר הזמן של חברת IEEE למדעי המחשוב מרשים Algol ו-Lisp כהגעה בשנת 1958, ו-Cobol, שנבנה לחישוב עסקי, בשנת 1959. בשנת 1972, הצוות של Dennis Ritchie ב-Bell Labs ייצר C, שאותו ציר הזמן של IEEE מיוחס כבסיס המבנה לשפות מאוחרות יותר כולל JavaScript, PHP ו-Python. תכנות מוכוון לאובייקטים עקבו עם C++ בשנת 1983. החשבון של IEEE גם מתעד את ההשקה של Python בשנת 1991, Java, JavaScript ו-PHP בשנת 1995, Google Go בשנת 2009 ו-Apple Swift בשנת 2014.

מסלול מקביל: הוראת מכונות לחשוב

בעוד שפות ברמה גבוהה התפשטו, קו מחקר נפרד שאל האם מכונות יכולות לחקות אינטליגנציה במקום פשוט להיות עוקבות אחרי הוראות. חשבון קולג' Dartmouth שלו מתאר את פרויקט Dartmouth Summer Research Project משנת 1956, שארגן המתמטיקאי John McCarthy, שהצעתו נועדה לבדוק מה שכינה 'הקונג'קטורה שכל היבט של למידה או כל תכונה אחרת של אינטליגנציה יכול בעקרון להיות מתואר בדיוק כה גבוה שמכונה יכולה להעמיד דברים. Dartmouth זיכרה את הסדנה זו כנקודת ההתחלה של הבינה המלאכותית כשדה מחקר מוגדר.

עשרות שנים אחרי כן, המחקר הזה הייצר בדיקה ציבורית בעלת צפייה גבוהה. הסטוריית IBM של מחשב השחמט שלה Deep Blue קובעת כי המכונה הפסידה את המשחק הראשון שלה נגד אלוף העולם Garry Kasparov 4-2 בפילדלפיה בפברואר 1996, ואז נצחה במשחק הנעודה בניו יורק במאי 1997 בציון 3.5-2.5 - הפעם הראשונה, לפי IBM, שמחשב ניצח אלוף עולם תורן בתנאי טורניר סטנדרטיים.

בפע�� הראשונה בהיסטוריה של האנושות, ראיתי משהו דומה לאינטליגנציה מלאכותית.

— Garry Kasparov, מצוטט בעמוד ההיסטוריה הרשמי של IBM לאחר משחק Deep Blue משנת 1997

ארכיטקטורת Transformer ויום הבינה המלאכותית הגנרטיבית

הארכיטקטורה מאחורי עוזרי הדו-שיח של היום ניתן לאתר לעיתון אחד משנת 2017. שמונה חוקרים - Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser ו-Illia Polosukhin - פרסמו 'Attention Is All You Need' לשרת ה-preprint arXiv ב-12 ביוני 2017. העיתון הציג את ה-Transformer, המתואר בתקציר שלו כרשת המבוססת רק על מנגנוני עידוד, תוך הסרת שכבות חוזרות והתפתלות שמערכות תרגום קודמות הסתמכו עליהן. המחברים דיווחו על ציוני 28.4 BLEU בתרגום מאנגלית לגרמנית ו-41.8 BLEU בתרגום מאנגלית לצרפתית, עם הדרכה מהירה יותר מאשר דגמים קודמים.

ארכיטקטורה זו עומדת בבסיס מודלי שפה גדולים שהשתחררו משנת 2018 והלאה. OpenAI השקיעה את ChatGPT ב-30 בנובמבר 2022. לפי חשבון History.com הציטוט את מייסד OpenAI Sam Altman, השירות הגיע למיליון משתמשים תוך חמישה ימים וכ-100 מיליון משתמשים חודשיים תוך כשנתיים, וזה מה שהחשבון מתאר כהאימוץ המהיר ביותר של אפליקציית צרכנים בתיעוד בעת זו.

שש אבני דרך מתוארכות בתולדות התכנות והבינה המלאכותית
שנהאבן דרךפרט מאומת מהמקור
1956פרויקט Dartmouth Summer Researchההצעה של John McCarthy לסדנה חקרה את אינטליגנציית המכונה כשאלת מחקר, לפי קולג' Dartmouth
1957Fortran שוחרר בעסקיםצוות בהנהגת Backus של IBM הפחיתה תוכניות הדורשות בערך 1,000 הוראות קוד מכונה לכל עד 47 שורות
1972C פותח ב-Bell Labsהפך לבסיס המבנה לשפות מאוחרות יותר כולל JavaScript, PHP ו-Python, לפי IEEE
1997Deep Blue מנצח את Garry Kasparovניצחון מחשב ראשון על אלוף עולם תורן בתנאי טורניר סטנדרטיים, לפי IBM
2017ארכיטקטורת Transformer פורסמהעיצוב עידוד בלבד אחר כך זיכרון GPT ו-BERT, לפי העיתון המקורי arXiv
2022ChatGPT השתוחרר על ידי OpenAIהגיע לכ-100 מיליון משתמשים חודשיים תוך כשנתיים, לפי נתוני OpenAI המצוטטים על ידי History.com

על פני כמעט שמונה עשורים, כל שלב שתואר לעיל הפחית את כמות פרטי התאימות לחומרה שאדם היה צריך לכתוב ביד - מ-Plankalkul של Zuse והוראות בינאריות שנקבעו ביד, דרך פקודות דומות לאלגברה של Fortran, למודלים מבוססי עידוד המפיקים כעת קוד וטקסט מהנושאות בשפה טבעית.

שאלות

מה הייתה השפה של תכנות ברמה גבוהה הראשונה?
Fortran, שפותחה על ידי צוות בהנהגת John Backus החל משנת 1954 והושקעה בעסקים על ידי IBM בשנת 1957, לפי הסטוריית הפרויקט של IBM עצמה.
מדוע שפת תכנות C הייתה משמעותית?
פותחה ב-Bell Labs בשנת 1972, C הפכה לבסיס המבנה לשפות מאוחרות יותר בשימוש נרחב כולל JavaScript, PHP ו-Python, לפי ציר הזמן של חברת IEEE למדעי המחשוב.
מתי הפכה הבינה המלאכותית לשדה מחקר מוגדר?
בפרויקט Dartmouth Summer Research Project משנת 1956, שארגן John McCarthy, וחשבון קולג' Dartmouth עצמו זיכרה אותה כנקודת ההתחלה של השדה.
מה השתנה עם העיתון 'Attention Is All You Need' משנת 2017?
שמונה חוקרים הציגו את Transformer, ארכיטקטורה המבוססת רק על מנגנוני עידוד במקום רשתות חוזרות או מתפתלות; מאוחר יותר היא הופכת למודלים כמו GPT ו-BERT, לפי העיתון המקורי arXiv.
מתי ChatGPT הושקה וכמה מהר הוא גדל?
OpenAI השקיעה את ChatGPT ב-30 בנובמבר 2022; לפי מייסד OpenAI Sam Altman כמו מדווח על ידי History.com, הוא הגיע למיליון משתמשים תוך חמישה ימים וכ-100 מיליון משתמשים חודשיים תוך כשנתיים.

מקורות

  1. IEEE Computer Society — A Timeline of Programming Languages
  2. IBM — History of Fortran
  3. IBM — History of Deep Blue
  4. arXiv — Attention Is All You Need (Vaswani et al., 2017)
  5. Dartmouth College — How the Term 'Artificial Intelligence' Was Coined
  6. History.com — ChatGPT, the Generative AI Chatbot, Is Released

כתבה זו הוכנה בעזרת בינה מלאכותית ועברה בדיקת מקורות אוטומטית לפני הפרסום. אם ראיתם טעות, בקשו תיקון. בקשת תיקון או זכות תגובה · איך אנחנו עובדים

כתבות קשורות