Od kodu maszynowego do ChatGPT: jak programowanie zmieniło się w ciągu ośmiu dekad

Programowanie nie zaczęło się od wpisywania poleceń na języku wysokiego poziomu. Najwcześniejsze komputery elektroniczne były konfigurowane instrukcją po instrukcji w surowych wzorcach binarnych, które ich sprzęt mógł czytać bezpośrednio — to, co obecnie jest nazywane kodem maszynowym. Stąd programowanie przeszło przez język asemblera, a następnie języki wysokiego poziomu zbudowane dla ludzi, a nie procesorów, i w ciągu ostatniej dekady przeszło do systemów, które generują własny kod i tekst. Daty i liczby poniżej pochodzą z własnej historii firmy IBM, IEEE Computer Society, opisu warsztatu z 1956 roku na Dartmouth College i artykułu badawczego z 2017 roku, który przedstawił architekturę Transformer używaną w dzisiejszych chatbotach.

Od kodu maszynowego do mnemonik

Według osi czasu opublikowanej przez IEEE Computer Society, jednym z najwcześniejszych języków programowania był Plankalkul, opracowany przez niemieckiego inżyniera Konrada Zuse'a w latach czterdziestych. Do 1949 roku pojawił się język asemblera i system o nazwie Shortcode, zastępując długie ciągi cyfr binarnych krótkimi kodami mnemonicznymi — ale te kody nadal musiały być tłumaczone, linia po linii, na format, który mógł wykonać procesor.

Języki wysokiego poziomu: pisanie dla ludzi, a nie dla procesorów

Zmiana przyspieszyła w 1957 roku, gdy IBM dostarczył Fortran, skrót od «formula translation». Według własnej historii projektu IBM, zespół kierowany przez matematyka Johna Backusa — który obejmował Lois Haibt, która zbudowała analizator wyrażeń arytmetycznych kompilatora — spędził trzy lata na języku, który pierwotnie miał być stworzony w ciągu sześciu miesięcy. IBM stwierdza, że Fortran zmniejszył programy, które wcześniej wymagały około 1000 instrukcji kodu maszynowego, do zaledwie 47 linii, pozwalając naukowcom i inżynierom pisać polecenia podobne do algebry, takie jak «DO» i «GO TO», zamiast bezpośredniego kodowania na poziomie sprzętu. Do połowy lat sześćdziesiątych Fortran stał się krajowym standardem informatycznym, według IBM.

Oś czasu IEEE Computer Society wymienia Algol i Lisp jako pojawiające się w 1958 roku oraz Cobol, zbudowany do obliczeń biznesowych, w 1959 roku. W 1972 roku zespół Dennisa Ritchie'ego w Bell Labs stworzył C, który ta sama oś czasu IEEE przypisuje jako strukturalną podstawę dla późniejszych języków, w tym JavaScript, PHP i Python. Programowanie zorientowane obiektowo nastąpiło wraz z C++ w 1983 roku. Konto IEEE również rejestruje debut Pythona w 1991 roku, Java, JavaScript i PHP w 1995 roku, Go od Google w 2009 roku i Swift od Apple w 2014 roku.

Tor równoległy: nauczanie maszyn rozumować

Gdy języki wysokiego poziomu się rozprzestrzeniały, oddzielna linia badań pytała, czy maszyny mogą symulować inteligencję, a nie po prostu wykonywać instrukcje. Według własnego opisu Dartmouth College, letni projekt badawczy Dartmouth z 1956 roku, organizowany przez matematyka Johna McCarthy'ego, którego propozycja miała na celu przetestowanie tego, co nazwano «hipotezą, że każdy aspekt nauki lub jakakolwiek inna cecha inteligencji może być w zasadzie opisana na tyle precyzyjnie, że maszyna mogłaby ją symulować». Dartmouth przypisuje temu warsztatowi status punktu wyjścia sztucznej inteligencji jako określonej dziedziny badań.

Dekady później to badanie doprowadziło do szeroko obserwowanego publicznego testu. Według historii komputera Deep Blue IBM, maszyna przegrała swój pierwszy mecz ze światowym mistrzem Garyem Kasparowem 4–2 w Filadelfii w lutym 1996 roku, a następnie wygrała rewanż w Nowym Jorku w maju 1997 roku 3,5–2,5 — po raz pierwszy, według IBM, komputer pokonał panującego światowego mistrza w standardowych warunkach turniejowych.

Architektura Transformer i era generatywnej AI

Architektura za dzisiejszymi chatbotami sięga jednego artykułu z 2017 roku. Ośmiu naukowców — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser i Illia Polosukhin — opublikowało artykuł «Attention Is All You Need» na serwerze preprint arXiv 12 czerwca 2017 roku. Artykuł przedstawił architekturę Transformer, opisaną w jej streszczeniu jako sieć oparta wyłącznie na mechanizmach uwagi, usuwająca warstwy rekurencyjne i splotowe, na których wcześniejsze systemy tłumaczeń się opierały. Autorzy zgłosili wyniki 28,4 BLEU dla tłumaczenia angielskiego na niemiecki i 41,8 BLEU dla tłumaczenia angielskiego na francuski, z szybszym treningiem niż w wcześniejszych modelach.

Architektura ta stanowi podstawę dużych modeli językowych wydanych od 2018 roku. OpenAI uruchomiła ChatGPT 30 listopada 2022 roku. Według artykułu History.com powołującego się na współzałożyciela OpenAI Sama Altmana, usługa osiągnęła jeden milion użytkowników w ciągu pięciu dni i około 100 milionów miesięcznych użytkowników w ciągu około dwóch miesięcy, które artykuł opisuje jako najszybszą adopcję aplikacji konsumenckiej na rekord w tym czasie.

W ciągu prawie ośmiu dekad każdy krok wymieniony powyżej zmniejszył ilość szczegółów specyficznych dla sprzętu, które osoba musiała pisać ręcznie — od Plankalkulu Zuse'a i ręcznie ustawianych instrukcji binarnych, przez polecenia podobne do algebry Fortrana, do modeli opartych na uwadze, które teraz generują kod i tekst z promptów w języku naturalnym.