Deze taal is machinaal vertaald en is niet door een mens gecontroleerd.

Geschiedenis · Artikel

Van machinecode tot ChatGPT: Hoe programmering in acht decennia veranderde

Gepubliceerd:

ENIAC (Electronic Numerical Integrator And Computer) in Philadelphia , Pennsylvania . Glen Beck (background) and Betty Snyder (foreground) program the ENIAC in building 328 at the Ballistic Research Laboratory (BRL).
Afbeelding: Unknown author Unknown author · Public domain · Wikimedia Commons

In het kort

Softwareprogrammering begon met ingenieurs die ruwe binaire instructies handmatig instelden, verplaatste zich vervolgens via talen die voor mensen waren gebouwd — Fortran, C, Python — tot vandaag's AI-systemen, gebouwd op de Transformer-architectuur uit 2017, begonnen code en tekst zelf te genereren. Dit artikel traceert die verschuiving via gedateerde mijlpalen bevestigd door IBM, de IEEE Computer Society, Dartmouth College en het originele Transformer-onderzoekspapier.

Deze versie is een machinevertaling van het origineel (English). Lees het origineel

Softwareprogrammering begon niet met het typen van commando's in een hogereniveautaal. De vroegste elektronische computers werden instructie voor instructie geconfigureerd in de ruwe binaire patronen die hun hardware rechtstreeks kon lezen — wat nu machinecode wordt genoemd. Van daaraf verplaatste programmering zich door assembly-taal, vervolgens door hogereniveautalen die voor mensen in plaats van processors waren gebouwd, en in het afgelopen decennium in systemen die hun eigen code en tekst genereren. De datums en cijfers hieronder zijn afkomstig uit de bedrijfsgeschiedenis van IBM, de IEEE Computer Society, Dartmouth College's verslag van zijn 1956-workshop en het onderzoekspapier uit 2017 dat de Transformer-architectuur introduceerde die in de huidige chatbots wordt gebruikt.

Van machinecode tot mnemonische codes

Volgens een chronologie gepubliceerd door de IEEE Computer Society was een van de vroegste programmeertalen Plankalkül, ontwikkeld door Duitse ingenieur Konrad Zuse in de jaren '40. In 1949 waren assembly-taal en een systeem genaamd Shortcode verschenen, die lange reeksen binaire cijfers vervingen door korte mnemonische codes — maar deze codes moesten nog steeds regel voor regel worden vertaald in het formaat dat de processor kon uitvoeren.

Hogereniveautalen: schrijven voor mensen, niet voor processors

De verschuiving versnelde in 1957, toen IBM Fortran leverde, kort voor 'formula translation'. De eigen geschiedenis van IBM van het project stelt dat een team onder leiding van wiskundige John Backus — dat Lois Haibt omvatte, die de rekenkundige-expressie-analyzer van de compiler bouwde — drie jaar werkte aan een taal die oorspronkelijk zes maanden zou duren. IBM zegt dat Fortran programma's die voorheen ongeveer 1.000 machinecode-instructies nodig hadden, terugbracht tot slechts 47 regels, waardoor wetenschappers en ingenieurs algebraïsche commando's zoals 'DO' en 'GO TO' konden schrijven in plaats van hardware rechtstreeks te coderen. Halverwege de jaren zestig was Fortran volgens IBM een nationale computingstandaard geworden.

De chronologie van de IEEE Computer Society vermeldt Algol en Lisp als verschenen in 1958 en Cobol, gebouwd voor zakelijk computergebruik, in 1959. In 1972 produceerde Dennis Ritchies team bij Bell Labs C, dat dezelfde IEEE-chronologie aanschrijft als de structurele basis voor latere talen, waaronder JavaScript, PHP en Python. Object-georiënteerd programmeren volgde met C++ in 1983. Het IEEE-verslag vermeldt ook Python's debuut in 1991, Java, JavaScript en PHP in 1995, Google's Go in 2009 en Apple's Swift in 2014.

Een parallel spoor: machines leren denken

Terwijl hogereniveautalen zich verspreidden, vroeg een aparte onderzoeksrichting zich af of machines intelligentie konden simuleren in plaats van eenvoudig instructies op te volgen. Dartmouth College's eigen verslag beschrijft het Dartmouth Summer Research Project van 1956, georganiseerd door wiskundige John McCarthy, waarvan het voorstel tot doel had te testen wat het 'de aanname' noemde dat elk aspect van leren of enig ander kenmerk van intelligentie in principe zo nauwkeurig kan worden beschreven dat een machine kan worden gemaakt om het na te bootsen. Dartmouth schrijft die workshop toe als het startpunt van kunstmatige intelligentie als een gedefinieerd onderzoeksgebied.

Decennia later produceerde dat onderzoek een veel waargenomen openbare test. De geschiedenis van IBM over haar schaakcomputer Deep Blue stelt dat de machine zijn eerste wedstrijd tegen wereldkampioen Garry Kasparov 4–2 verloor in Philadelphia in februari 1996, en vervolgens een hertellingsronde won in New York in mei 1997 met een score van 3,5–2,5 — de eerste keer, volgens IBM, dat een computer een zittende wereldschaakkampioen onder standaard toernooiomstandigheden had verslagen.

Voor het eerst in de geschiedenis van de mensheid zag ik iets dat op een kunstmatig intellect leek.

— Garry Kasparov, geciteerd op IBMs officiële geschiedenispagina na de Deep Blue-wedstrijd van 1997

De Transformer en het generatieve-AI-tijdperk

De architectuur achter de huidige chatbots gaat terug naar een enkel document uit 2017. Acht onderzoekers — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser en Illia Polosukhin — plaatsten 'Attention Is All You Need' op 12 juni 2017 op de arXiv preprint-server. Het document introduceerde de Transformer, beschreven in zijn abstract als een netwerk gebaseerd op enkel attentie-mechanismen, verwijderend de terugkerende en convolutionele lagen waarop eerdere vertaalsystemen zich baseerden. De auteurs meldden scores van 28,4 BLEU op Engels-naar-Duitse vertaling en 41,8 BLEU op Engels-naar-Franse vertaling, met snellere training dan eerdere modellen.

Die architectuur ligt ten grondslag aan de grote taalmodellen die vanaf 2018 zijn uitgebracht. OpenAI lanceerde ChatGPT op 30 november 2022. Volgens een History.com-verslag dat OpenAI-medeoprichter Sam Altman aanhaalt, bereikte de service één miljoen gebruikers binnen vijf dagen en ongeveer 100 miljoen maandelijkse gebruikers binnen ongeveer twee maanden, wat het verslag omschrijft als de snelste adoptiesnelheid van consumentenapps tot die tijd.

Zes gedateerde mijlpalen in programmering- en AI-geschiedenis
JaarMijlpaalBronbevestigd detail
1956Dartmouth Summer Research ProjectJohn McCarthy's workshopvoorstel stelde machine-intelligentie als onderzoeksvraag, volgens Dartmouth College
1957Fortran commercieel uitgebrachtIBMs door Backus geleide team reduceerde programma's die ongeveer 1.000 machinecode-instructies nodig hadden tot slechts 47 regels
1972C ontwikkeld bij Bell LabsWerd de structurele basis voor latere talen inclusief JavaScript, PHP en Python, volgens IEEE
1997Deep Blue verslaat Garry KasparovEerste computerzege over een zittende wereldschaakkampioen in standaard toernooispel, volgens IBM
2017Transformer-architectuur gepubliceerdAlleen-aandacht-ontwerp later ten grondslag aan GPT en BERT, volgens het originele arXiv-document
2022ChatGPT uitgebracht door OpenAIBereikte ongeveer 100 miljoen maandelijkse gebruikers binnen ongeveer twee maanden, volgens OpenAI-gegevens geciteerd door History.com

Over bijna acht decennia reduceerde elke hierboven getraceerde stap hoeveel hardware-specifieke details iemand met de hand moest schrijven — van Zuse's Plankalkül en handmatig ingestelde binaire instructies, via Fortran's algebraïsche commando's, tot attentie-gebaseerde modellen die nu code en tekst uit natuurlijke-taalprompts genereren.

Vragen

Wat was de eerste hogereniveautaal?
Fortran, ontwikkeld door een team onder leiding van John Backus vanaf 1954 en commercieel uitgebracht door IBM in 1957, volgens IBMs eigen projectgeschiedenis.
Waarom was de programmeertaal C significant?
Ontwikkeld bij Bell Labs in 1972, werd C de structurele basis voor later veel gebruikte talen, waaronder JavaScript, PHP en Python, volgens de chronologie van de IEEE Computer Society.
Wanneer werd kunstmatige intelligentie een gevestigd onderzoeksveld?
Bij het Dartmouth Summer Research Project van 1956, georganiseerd door wiskundige John McCarthy, dat Dartmouth College's eigen verslag aanschrijft als het startpunt van het veld.
Wat veranderde met het 2017-document 'Attention Is All You Need'?
Acht onderzoekers introduceerden de Transformer, een architectuur gebaseerd op enkel attentie-mechanismen in plaats van terugkerende of convolutionele netwerken; het lag later ten grondslag aan modellen zoals GPT en BERT, volgens het originele arXiv-document.
Wanneer werd ChatGPT uitgebracht en hoe snel groeide het?
OpenAI bracht ChatGPT uit op 30 november 2022; volgens OpenAI-medeoprichter Sam Altman zoals gerapporteerd door History.com, bereikte het één miljoen gebruikers binnen vijf dagen en ongeveer 100 miljoen maandelijkse gebruikers binnen ongeveer twee maanden.

Bronnen

  1. IEEE Computer Society — A Timeline of Programming Languages
  2. IBM — History of Fortran
  3. IBM — History of Deep Blue
  4. arXiv — Attention Is All You Need (Vaswani et al., 2017)
  5. Dartmouth College — How the Term 'Artificial Intelligence' Was Coined
  6. History.com — ChatGPT, the Generative AI Chatbot, Is Released

Dit stuk is gemaakt met kunstmatige intelligentie en vóór publicatie automatisch op bronnen gecontroleerd. Ziet u een fout, vraag dan om een correctie. Correctie of weerwoord aanvragen · Hoe we dit maken

Gerelateerd