기계 코드에서 ChatGPT로: 프로그래밍이 8십 년간 어떻게 바뀌었나

소프트웨어는 고급 언어로 명령어를 입력하는 것으로 시작하지 않았다. 초기의 전자 컴퓨터들은 그들의 회로가 직접 읽을 수 있는 원시 이진 패턴으로, 명령어마다 설정되었다——현재는 기계 코드라고 불린다. 그곳에서 프로그래밍은 어셈블리 언어를 거쳐 프로세서가 아닌 사람들을 위해 만들어진 고급 언어로 옮겨 갔으며, 지난 10년간 자신들의 코드와 텍스트를 생성하는 시스템들로 발전했다. 아래의 날짜와 수치는 IBM의 기업 역사, IEEE Computer Society, 다트머스 대학의 1956년 워크숍 설명, 그리고 오늘날의 챗봇에 사용된 Transformer 아키텍처를 소개한 2017년 연구 논문에서 나온 것이다.

기계 코드에서 니모닉으로

IEEE Computer Society가 발행한 타임라인에 따르면, 최초의 프로그래밍 언어 중 하나는 독일의 엔지니어 Konrad Zuse가 1940년대에 개발한 Plankalkül이었다. 1949년까지 어셈블리 언어와 Shortcode라는 시스템이 나타났으며, 긴 이진 숫자 문자열을 짧은 니모닉 코드로 바꿨다——하지만 그 코드들은 여전히 프로세서가 실행할 수 있는 형식으로 한 줄씩 번역되어야 했다.

고급 언어: 프로세서가 아닌 사람을 위해 작성하기

그 전환은 1957년에 가속화되었으며, IBM이 Fortran을 출시했다. Fortran은 '공식 번역(formula translation)'의 약자다. 프로젝트의 IBM 자체 역사에 따르면, 수학자 John Backus가 이끈 팀——컴파일러의 산술식 분석기를 만든 Lois Haibt 포함——은 원래 6개월이 걸릴 것으로 예상되었던 언어에 3년을 소비했다. IBM에 따르면, Fortran은 이전에 약 1,000개의 기계 코드 명령어가 필요했던 프로그램을 최대 47줄로 줄였으며, 과학자와 엔지니어가 하드웨어를 직접 코딩하는 대신 'DO'와 'GO TO' 같은 대수 같은 명령어를 쓸 수 있게 했다. 1960년대 중반까지 Fortran은 미국의 컴퓨팅 표준이 되었다고 IBM은 말한다.

IEEE Computer Society의 타임라인은 Algol과 Lisp이 1958년에 나타났으며, 비즈니스 컴퓨팅을 위해 만들어진 Cobol이 1959년에 나타났다고 열거한다. 1972년, Bell Labs의 Dennis Ritchie 팀이 C를 만들었으며, 같은 IEEE 타임라인은 JavaScript, PHP, Python을 포함한 이후 언어들의 구조적 기초로 인정한다. 객체 지향 프로그래밍은 1983년의 C++로 이어졌다. IEEE 설명은 또한 Python이 1991년에 데뷔했고, Java, JavaScript, PHP가 1995년에, Google의 Go가 2009년에, Apple의 Swift가 2014년에 데뷔했음을 기록한다.

평행선: 기계에 추론을 가르치기

고급 언어가 널리 퍼지는 동안, 별개의 연구 라인은 기계가 단순히 명령어를 따르기보다는 지능을 모의할 수 있는지를 질문했다. 다트머스 대학의 자체 설명은 1956년 다트머스 여름 연구 프로젝트를 기술한다. 수학자 John McCarthy가 조직한 이 프로젝트는, 그의 제안이 '학습의 모든 측면 또는 지능의 다른 특징이 원칙적으로 그토록 정확히 기술될 수 있으므로 기계가 그것을 모의하도록 만들어질 수 있다는 추측'을 테스트하려고 했다. 다트머스는 그 워크숍을 정의된 연구 분야로서의 인공 지능의 시작점으로 인정한다.

수십 년 후, 그 연구는 광범위하게 관찰된 공개 시험을 낳았다. Deep Blue 체스 컴퓨터에 대한 IBM의 역사는, 그 기계가 1996년 2월 필라델피아에서 세계 챔피언 Garry Kasparov와의 첫 경기에서 4–2로 졌으며, 그 후 1997년 5월 뉴욕에서 3.5–2.5의 점수로 재경기에 승리했다고 말한다——IBM에 따르면, 표준 토너먼트 조건에서 현재의 세계 체스 챔피언을 이긴 첫 번째 컴퓨터다.

Transformer와 생성형 AI 시대

오늘날의 챗봇을 뒷받침하는 아키텍처는 단일한 2017년 논문으로 거슬러 올라간다. 8명의 연구자——Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser, 그리고 Illia Polosukhin——은 '주의가 모두다(Attention Is All You Need)'를 2017년 6월 12일 arXiv 프리프린트 서버에 게시했다. 논문은 Transformer를 소개했으며, 그것의 초록에서 주의 메커니즘만을 기반으로 한 네트워크로 기술되며, 이전의 번역 시스템들이 의존했던 순환 및 합성곱 층을 제거했다. 저자들은 영어-독일어 번역에서 28.4 BLEU와 영어-프랑스어 번역에서 41.8 BLEU의 점수를 보고했으며, 이전 모델보다 더 빠른 훈련을 달성했다.

그 아키텍처는 2018년 이후 출시된 대규모 언어 모델의 기초가 된다. OpenAI는 2022년 11월 30일에 ChatGPT를 출시했다. OpenAI 공동 창립자 Sam Altman을 인용하는 History.com 설명에 따르면, 서비스는 5일 내에 100만 사용자에 도달했으며 약 2개월 만에 약 1억 월간 사용자에 도달했으며, 그 설명은 이를 당시 가장 빠른 소비자 앱 채택 기록으로 기술한다.

거의 80년에 걸쳐, 위에서 추적된 각 단계는 사람이 손으로 작성해야 했던 하드웨어 특정 세부사항의 양을 줄였다——Zuse의 Plankalkül과 손으로 설정된 이진 명령어에서부터, Fortran의 대수 같은 명령어를 통해, 이제 자연 언어 프롬프트에서 코드와 텍스트를 생성하는 주의 기반 모델까지.