Du code machine à ChatGPT : Comment la programmation a changé en huit décennies

La programmation logicielle n'a pas commencé en tapant des commandes dans un langage de haut niveau. Les premiers ordinateurs électriques étaient configurés instruction par instruction dans les motifs binaires bruts que leur matériel pouvait lire directement — ce qu'on appelle maintenant le code machine. De là, la programmation a progressé à travers le langage d'assemblage, puis les langages de haut niveau construits pour les humains plutôt que pour les processeurs, et au cours de la dernière décennie vers les systèmes qui génèrent leur propre code et texte. Les dates et chiffres ci-dessous proviennent de l'historique corporatif d'IBM lui-même, de IEEE Computer Society, du compte de Dartmouth College sur son atelier de 1956, et de l'article de recherche de 2017 qui a introduit l'architecture Transformer utilisée dans les chatbots d'aujourd'hui.

Du code machine aux mnémoniques

Selon une chronologie publiée par IEEE Computer Society, l'un des premiers langages de programmation était Plankalkül, développé par l'ingénieur allemand Konrad Zuse dans les années 1940. En 1949, le langage d'assemblage et un système appelé Shortcode avaient fait leur apparition, remplaçant de longues chaînes de chiffres binaires par de courts codes mnémoniques — mais ces codes devaient toujours être traduits, ligne par ligne, dans le format que le processeur pouvait exécuter.

Langages de haut niveau : écrire pour les humains, pas pour les processeurs

Le changement s'est accéléré en 1957, lorsqu'IBM a livré Fortran, abréviation de 'traduction de formule'. L'historique d'IBM du projet indique qu'une équipe dirigée par le mathématicien John Backus — qui comprenait Lois Haibt, qui a construit l'analyseur d'expression arithmétique du compilateur — a passé trois ans sur un langage initialement censé prendre six mois. IBM indique que Fortran a réduit les programmes qui nécessitaient auparavant environ 1 000 instructions de code machine à pas plus de 47 lignes, permettant aux scientifiques et ingénieurs d'écrire des commandes ressemblant à l'algèbre comme 'DO' et 'GO TO' au lieu de coder le matériel directement. Au milieu des années 1960, Fortran était devenu une norme informatique nationale, selon IBM.

La chronologie de IEEE Computer Society liste Algol et Lisp comme arrivant en 1958, et Cobol, construit pour l'informatique commerciale, en 1959. En 1972, l'équipe de Dennis Ritchie aux Bell Labs a produit C, que la même chronologie IEEE crédite comme étant la base structurelle pour les langages ultérieurs notamment JavaScript, PHP et Python. La programmation orientée objet a suivi avec C++ en 1983. Le compte IEEE enregistre également les débuts de Python en 1991, Java, JavaScript et PHP en 1995, Go de Google en 2009, et Swift d'Apple en 2014.

Une piste parallèle : enseigner aux machines à raisonner

Tandis que les langages de haut niveau se répandaient, une ligne de recherche distincte se demandait si les machines pouvaient simuler l'intelligence plutôt que de simplement suivre les instructions. Le propre compte de Dartmouth College décrit le Projet de recherche d'été de Dartmouth de 1956, organisé par le mathématicien John McCarthy, dont la proposition visait à tester ce qu'il appelait 'la conjecture selon laquelle chaque aspect de l'apprentissage ou toute autre caractéristique de l'intelligence peut en principe être décrit avec suffisamment de précision qu'une machine peut être faite pour la simuler'. Dartmouth crédite cet atelier comme le point de départ de l'intelligence artificielle en tant que domaine de recherche défini.

Des décennies plus tard, cette recherche a produit un test public très médiatisé. L'historique d'IBM de son ordinateur d'échecs Deep Blue indique que la machine a perdu son premier match contre le champion du monde Garry Kasparov 4–2 à Philadelphie en février 1996, puis a remporté une revanche à New York en mai 1997 avec un score de 3.5–2.5 — la première fois, selon IBM, qu'un ordinateur avait vaincu un champion du monde régnant aux échecs dans les conditions standards d'un tournoi.

Le Transformer et l'ère de l'IA générative

L'architecture derrière les chatbots d'aujourd'hui remonte à un seul article de 2017. Huit chercheurs — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser et Illia Polosukhin — ont publié 'Attention Is All You Need' sur le serveur de préimpression arXiv le 12 juin 2017. L'article a introduit le Transformer, décrit dans son résumé comme un réseau basé uniquement sur les mécanismes d'attention, supprimant les couches récurrentes et convolutives sur lesquelles les systèmes de traduction antérieurs s'appuyaient. Les auteurs ont rapporté des scores de 28.4 BLEU en traduction anglais-allemand et 41.8 BLEU en traduction anglais-français, avec un entraînement plus rapide que les modèles antérieurs.

Cette architecture est à la base des grands modèles de langage lancés à partir de 2018. OpenAI a lancé ChatGPT le 30 novembre 2022. Selon un compte de History.com citant le cofondateur d'OpenAI Sam Altman, le service a atteint un million d'utilisateurs en cinq jours et environ 100 millions d'utilisateurs mensuels en environ deux mois, ce que le compte décrit comme l'adoption d'applications de consommation la plus rapide enregistrée à cette époque.

Au cours de près de huit décennies, chaque étape tracée ci-dessus a réduit la quantité de détails spécifiques au matériel qu'une personne devait écrire manuellement — du Plankalkül de Zuse et des instructions binaires définies manuellement, en passant par les commandes ressemblant à l'algèbre de Fortran, jusqu'aux modèles basés sur l'attention qui génèrent maintenant du code et du texte à partir de prompts en langage naturel.