Dal codice macchina a ChatGPT: Come la programmazione è cambiata in otto decenni

La programmazione software non è iniziata digitando comandi in un linguaggio di alto livello. I primi computer elettronici erano configurati istruzione per istruzione nei modelli binari grezzi che l'hardware poteva leggere direttamente — quello che ora è chiamato codice macchina. Da lì, la programmazione si è mossa attraverso il linguaggio assembly, poi attraverso i linguaggi di alto livello costruiti per le persone piuttosto che per i processori, e nel corso dell'ultimo decennio in sistemi che generano il proprio codice e testo. Le date e le cifre di seguito provengono dalla storia aziendale della IBM, dalla IEEE Computer Society, dal resoconto del Dartmouth College del suo workshop del 1956 e dal documento di ricerca del 2017 che ha introdotto l'architettura Transformer utilizzata nei chatbot di oggi.

Dal codice macchina ai codici mnemonici

Secondo una cronologia pubblicata dalla IEEE Computer Society, uno dei primi linguaggi di programmazione era Plankalkül, sviluppato dall'ingegnere tedesco Konrad Zuse negli anni '40. Nel 1949, il linguaggio assembly e un sistema chiamato Shortcode erano apparsi, sostituendo lunghe stringhe di cifre binarie con brevi codici mnemonici — ma questi codici dovevano ancora essere tradotti, riga per riga, nel formato che il processore poteva eseguire.

Linguaggi di alto livello: scrivere per le persone, non per i processori

Lo spostamento si è accelerato nel 1957, quando IBM ha consegnato Fortran, abbreviazione di 'formula translation'. La storia della IBM del progetto afferma che un team guidato dal matematico John Backus — che includeva Lois Haibt, che ha costruito l'analizzatore di espressioni aritmetiche del compilatore — ha lavorato tre anni su un linguaggio originariamente previsto per durare sei mesi. IBM sostiene che Fortran ha ridotto i programmi che in precedenza avevano bisogno di circa 1.000 istruzioni di codice macchina a ben 47 righe, permettendo agli scienziati e agli ingegneri di scrivere comandi simili all'algebra come 'DO' e 'GO TO' invece di codificare direttamente l'hardware. A metà degli anni '60, secondo IBM, Fortran era diventato uno standard informatico nazionale.

La cronologia della IEEE Computer Society elenca Algol e Lisp come arrivati nel 1958, e Cobol, costruito per l'informatica aziendale, nel 1959. Nel 1972, il team di Dennis Ritchie presso Bell Labs ha prodotto C, che la stessa cronologia IEEE accredita come base strutturale per i linguaggi successivi inclusi JavaScript, PHP e Python. La programmazione orientata agli oggetti ha seguito con C++ nel 1983. Il resoconto IEEE registra anche il debutto di Python nel 1991, Java, JavaScript e PHP nel 1995, Go di Google nel 2009 e Swift di Apple nel 2014.

Un percorso parallelo: insegnare alle macchine a ragionare

Mentre i linguaggi di alto livello si diffondevano, una linea di ricerca separata si chiedeva se le macchine potessero simulare l'intelligenza piuttosto che semplicemente seguire le istruzioni. Il resoconto del Dartmouth College descrive il Dartmouth Summer Research Project del 1956, organizzato dal matematico John McCarthy, la cui proposta mirava a testare quella che chiamava 'la congettura che ogni aspetto dell'apprendimento o qualsiasi altra caratteristica dell'intelligenza potesse in linea di principio essere così precisamente descritta che una macchina potesse essere fatta per simularla'. Dartmouth accredita quel workshop come il punto di partenza dell'intelligenza artificiale come campo di ricerca definito.

Decenni dopo, quella ricerca ha prodotto un test pubblico molto osservato. La storia della IBM del suo computer scacchistico Deep Blue afferma che la macchina ha perso la sua prima partita contro il campione mondiale Garry Kasparov 4–2 a Philadelphia nel febbraio 1996, quindi ha vinto una rivincita a New York nel maggio 1997 con un punteggio di 3,5–2,5 — la prima volta, secondo IBM, che un computer aveva sconfitto un campione mondiale di scacchi regnante in condizioni standard di torneo.

Il Transformer e l'era dell'IA generativa

L'architettura dietro i chatbot di oggi risale a un unico documento del 2017. Otto ricercatori — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser e Illia Polosukhin — hanno pubblicato 'Attention Is All You Need' sul server di preprint arXiv il 12 giugno 2017. Il documento ha introdotto il Transformer, descritto nel suo abstract come una rete basata unicamente su meccanismi di attenzione, rimuovendo gli strati ricorrenti e convoluzionali su cui si basavano i sistemi di traduzione precedenti. Gli autori hanno riportato punteggi di 28,4 BLEU sulla traduzione da inglese a tedesco e 41,8 BLEU sulla traduzione da inglese a francese, con addestramento più veloce rispetto ai modelli precedenti.

Quell'architettura sottende i grandi modelli di linguaggio rilasciati dal 2018 in poi. OpenAI ha lanciato ChatGPT il 30 novembre 2022. Secondo un resoconto di History.com che cita il co-fondatore di OpenAI Sam Altman, il servizio ha raggiunto un milione di utenti entro cinque giorni e circa 100 milioni di utenti mensili entro circa due mesi, che il resoconto descrive come l'adozione più veloce di app consumer su record fino a quel momento.

Nel corso di quasi otto decenni, ogni passo tracciato sopra ha ridotto la quantità di dettagli specifici dell'hardware che una persona doveva scrivere a mano — dal Plankalkül di Zuse e dalle istruzioni binarie impostate a mano, attraverso i comandi simili all'algebra di Fortran, ai modelli basati sull'attenzione che ora generano codice e testo dai prompt del linguaggio naturale.