Von Maschinencode zu ChatGPT: Wie sich die Programmierung in acht Jahrzehnten veränderte

Die Softwareprogrammierung begann nicht damit, Befehle in eine Hochsprache einzutippen. Die frühesten elektronischen Computer wurden Anweisung für Anweisung in den rohen Binärmustern konfiguriert, die ihre Hardware direkt lesen konnte — das, was heute Maschinencode genannt wird. Von dort aus bewegte sich die Programmierung durch Assemblersprache, dann durch Hochsprachen, die für Menschen statt für Prozessoren gebaut wurden, und über das letzte Jahrzehnt hinein in Systeme, die ihren eigenen Code und Text generieren. Die Daten und Zahlen unten stammen aus der Unternehmensgeschichte der IBM, der IEEE Computer Society, dem Bericht des Dartmouth College über seinen Workshop von 1956 und dem Forschungspapier von 2017, das die in den heutigen Chatbots verwendete Transformer-Architektur einführte.

Von Maschinencode zu Mnemonik

Nach einer von der IEEE Computer Society veröffentlichten Zeitleiste war eine der frühesten Programmiersprachen Plankalkül, das der deutsche Ingenieur Konrad Zuse in den 1940er Jahren entwickelte. 1949 erschienen die Assemblersprache und ein System namens Shortcode, das lange Reihen von Binärziffern durch kurze mnemonische Codes ersetzte — aber diese Codes mussten immer noch Zeile für Zeile in das Format übersetzt werden, das der Prozessor ausführen konnte.

Hochsprachen: Schreiben für Menschen, nicht für Prozessoren

Die Verschiebung beschleunigte sich 1957, als IBM Fortran lieferte, kurz für 'Formelübersetzung'. Die eigene Geschichte der IBM über das Projekt besagt, dass ein Team unter der Leitung des Mathematikers John Backus — zu dem auch Lois Haibt gehörte, die den Arithmetik-Ausdrucksanalyzer des Compilers erstellte — drei Jahre an einer Sprache arbeitete, die ursprünglich nur sechs Monate hätte dauern sollen. IBM sagt, dass Fortran Programme, die zuvor etwa 1.000 Maschinencode-Anweisungen benötigten, auf nur 47 Zeilen reduzierte und es Wissenschaftlern und Ingenieuren ermöglichte, algebraähnliche Befehle wie 'DO' und 'GO TO' zu schreiben, statt die Hardware direkt zu programmieren. Mitte der 1960er Jahre war Fortran nach Angaben der IBM zu einem nationalen Computingstandard geworden.

Die Zeitleiste der IEEE Computer Society listet Algol und Lisp als 1958 erschienen auf und Cobol, das für Business-Computing gebaut wurde, 1959. 1972 produzierte Dennis Ritchies Team bei Bell Labs C, das nach derselben IEEE-Zeitleiste die strukturelle Grundlage für später Sprachen einschließlich JavaScript, PHP und Python wurde. Die objektorientierte Programmierung folgte mit C++ 1983. Der IEEE-Bericht verzeichnet auch Pythons Debüt 1991, Java, JavaScript und PHP 1995, Googles Go 2009 und Apples Swift 2014.

Ein paralleles Konzept: Maschinen zum Denken bringen

Während sich Hochsprachen verbreiteten, fragte sich ein separater Forschungsstrang, ob Maschinen Intelligenz simulieren könnten, statt einfach Anweisungen zu folgen. Der eigene Bericht des Dartmouth College beschreibt das Dartmouth Summer Research Project von 1956, das vom Mathematiker John McCarthy organisiert wurde und dessen Vorschlag darauf abzielte, zu testen, was es 'die Vermutung' nannte, dass jeder Aspekt des Lernens oder jedes andere Merkmal der Intelligenz im Prinzip so präzise beschrieben werden kann, dass eine Maschine gemacht werden kann, um es zu simulieren. Dartmouth schreibt diesem Workshop den Anfang der künstlichen Intelligenz als definiertes Forschungsfeld zu.

Jahrzehnte später produzierte diese Forschung einen weit beachteten öffentlichen Test. Die Geschichte der IBM über ihren Schachcomputer Deep Blue besagt, dass die Maschine sein erstes Match gegen Weltmeister Garry Kasparov 4–2 in Philadelphia im Februar 1996 verlor, dann ein Rückmatch in New York im Mai 1997 mit 3,5–2,5 gewann — das erste Mal, so IBM, dass ein Computer einen amtierenden Weltschachmeister unter Standardturnierbedinungen besiegt hatte.

Der Transformer und die generative-KI-Ära

Die Architektur hinter den heutigen Chatbots reicht auf ein einziges Papier von 2017 zurück. Acht Forscher — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser und Illia Polosukhin — veröffentlichten 'Attention Is All You Need' am 12. Juni 2017 auf dem arXiv Preprint-Server. Das Papier führte den Transformer ein, der in seinem Abstract als ein Netzwerk beschrieben wird, das ausschließlich auf Aufmerksamkeitsmechanismen basiert und die rekurrenten und konvolutionalen Schichten aus früheren Übersetzungssystemen entfernt. Die Autoren berichteten von Werten von 28,4 BLEU bei der Englisch-zu-Deutsch-Übersetzung und 41,8 BLEU bei der Englisch-zu-Französisch-Übersetzung, mit schnellerem Training als frühere Modelle.

Diese Architektur liegt Großsprachmodellen zugrunde, die ab 2018 veröffentlicht wurden. OpenAI startete ChatGPT am 30. November 2022. Nach einem History.com-Bericht, der OpenAI-Mitgründer Sam Altman zitiert, erreichte der Dienst innerhalb von fünf Tagen eine Million Nutzer und ungefähr 100 Millionen monatliche Nutzer innerhalb von etwa zwei Monaten, was der Bericht als die schnellste Einführung von Consumer-Apps beschreibt, die zu dieser Zeit bekannt war.

Über fast acht Jahrzehnte hinweg reduzierte jeder oben verfolgte Schritt, wie viel Hardware-spezifisches Detail eine Person von Hand schreiben musste — von Zuses Plankalkül und von Hand gesetzten Binäranweisungen, über Fortrans algebraähnliche Befehle, bis zu aufmerksamkeitsbasierten Modellen, die jetzt Code und Text aus natürlichsprachigen Eingaben generieren.