От машинного кода к ChatGPT: как программирование изменилось за восемь десятилетий

Разработка программного обеспечения началась не с набора команд на языке высокого уровня. Самые ранние электронные компьютеры настраивались инструкция за инструкцией в виде сырых двоичных паттернов, которые их аппаратное обеспечение могло читать непосредственно — то, что сейчас называется машинным кодом. Оттуда программирование переместилось в язык ассемблера, затем в языки высокого уровня, созданные для людей, а не для процессоров, и за последнее десятилетие — в системы, которые генерируют свой собственный код и текст. Даты и цифры ниже взяты из корпоративной истории самой IBM, Общества компьютеров IEEE, описания семинара 1956 года в колледже Дартмута и научной работы 2017 года, которая ввела архитектуру Transformer, используемую в сегодняшних чатботах.

От машинного кода к мнемоникам

По временной шкале, опубликованной Обществом компьютеров IEEE, одним из первых языков программирования был Plankalkul, разработанный немецким инженером Конрадом Цузе в 1940-х годах. К 1949 году появились язык ассемблера и система Shortcode, заменившие длинные строки двоичных цифр короткими мнемоническими кодами — но эти коды по-прежнему должны были переводиться, строка за строкой, в формат, который мог выполнить процессор.

Языки высокого уровня: написание для людей, а не для процессоров

Сдвиг ускорился в 1957 году, когда IBM поставила Fortran, сокращение от «formula translation». Согласно истории проекта IBM, команда под руководством математика Джона Бэкуса — в которую входила Лоис Хайбт, создавшая анализатор арифметических выражений компилятора — потратила три года на язык, который первоначально предполагалось создать за шесть месяцев. IBM заявляет, что Fortran сократил программы, которым ранее требовалось примерно 1000 инструкций машинного кода, до всего 47 строк, позволяя ученым и инженерам писать команды, подобные алгебре, такие как «DO» и «GO TO», вместо прямого кодирования на уровне аппаратного обеспечения. К середине 1960-х годов Fortran стал национальным стандартом вычисления, по словам IBM.

Временная шкала Общества компьютеров IEEE перечисляет Algol и Lisp как появившиеся в 1958 году, и Cobol, созданный для бизнес-вычисления, в 1959 году. В 1972 году команда Денниса Ритчи в Bell Labs создала C, которую та же временная шкала IEEE приписывает как структурную основу для последующих языков, включая JavaScript, PHP и Python. Объектно-ориентированное программирование последовало с C++ в 1983 году. Отчет IEEE также фиксирует дебют Python в 1991 году, Java, JavaScript и PHP в 1995 году, Go от Google в 2009 году и Swift от Apple в 2014 году.

Параллельное направление: обучение машин рассуждать

Пока языки высокого уровня распространялись, отдельная линия исследований задавалась вопросом, могут ли машины имитировать интеллект, а не просто следовать инструкциям. Согласно собственному описанию колледжа Дартмута, летний исследовательский проект 1956 года в Дартмуте был организован математиком Джоном МакКарти, чья работа ставила целью проверить то, что называлось «предположением о том, что каждый аспект обучения или любая другая характеристика интеллекта может, в принципе, быть описана с достаточной точностью, чтобы машина могла имитировать его». Дартмут приписывает этому семинару статус отправной точки искусственного интеллекта как установленной области исследований.

Десятилетия спустя это исследование дало широко известный публичный тест. Согласно истории Deep Blue компании IBM, машина проиграла первый матч чемпиону мира Гарри Каспарову со счетом 4–2 в Филадельфии в феврале 1996 года, затем выиграла реванш в Нью-Йорке в мае 1997 года со счетом 3,5–2,5 — в первый раз, по словам IBM, компьютер победил действующего чемпиона мира в стандартных условиях турнира.

Трансформер и эра генеративного ИИ

Архитектура, лежащая в основе сегодняшних чатботов, берет начало от одной научной работы 2017 года. Восемь исследователей — Ашиш Васвани, Ноам Шазеер, Ники Пармар, Якоб Ускорейт, Ллион Джонс, Эйдан Гомес, Лукаш Кайзер и Илля Полосухин — разместили статью «Attention Is All You Need» на сервере препринтов arXiv 12 июня 2017 года. В статье описана архитектура Transformer, которая в её аннотации называется сетью, основанной исключительно на механизмах внимания, исключающей рекуррентные и сверточные слои, на которые полагались предыдущие системы перевода. Авторы сообщили оценки 28,4 BLEU для перевода с английского на немецкий и 41,8 BLEU для перевода с английского на французский, с более быстрым обучением, чем в предыдущих моделях.

Эта архитектура лежит в основе больших языковых моделей, выпущенных с 2018 года. OpenAI запустила ChatGPT 30 ноября 2022 года. Согласно статье History.com, ссылающейся на сооснователя OpenAI Сэма Альтмана, сервис достиг одного миллиона пользователей в течение пяти дней и примерно 100 миллионов ежемесячных пользователей примерно за два месяца, что в статье описывается как самое быстрое распространение потребительского приложения в истории на тот момент.

За почти восемь десятилетий каждый шаг, указанный выше, снизил объем специфичных для аппаратного обеспечения деталей, которые человек должен был писать вручную — от Plankalkul Цузе и вручную установленных двоичных инструкций, через команды, подобные алгебре Fortran, к моделям на основе внимания, которые теперь генерируют код и текст из запросов на естественном языке.