Comment fonctionnent réellement les chatbots d'IA comme ChatGPT et Claude, expliqué

Des centaines de millions de personnes posent des questions à ChatGPT, Claude, Gemini ou des outils similaires chaque jour, mais le logiciel qui les sous-tend est souvent décrit comme une mystérieuse "boîte noire". Selon le Cours de Machine Learning de Google et un article explicatif de l'écrivain scientifique Timothy B. Lee publié sur Understanding AI, le mécanisme central est plus simple à décrire qu'il n'y paraît : un modèle de langage volumineux (LLM) est un réseau neuronal entraîné à prédire le prochain petit morceau de texte, appelé token, en fonction de tout ce qui l'a précédé.

Des mots aux chiffres : tokens et embeddings

Avant qu'un LLM puisse traiter du texte, il divise un prompt en tokens — des unités qui peuvent être un mot complet, une partie d'un mot ou un seul caractère, selon la documentation des développeurs de Google. Chaque token est converti en un vecteur, une longue liste de nombres appelée embedding, qui est censée capturer quelque chose sur le sens du token. L'article explicatif d'Understanding AI compare cela à des coordonnées géographiques : les mots aux significations similaires finissent par être positionnés près les uns des autres dans un vaste espace numérique, de la même manière que les villes proches partagent des latitudes et longitudes similaires.

Attention : comment le modèle suit le contexte

L'architecture derrière pratiquement tous les LLM modernes s'appelle Transformer. Le cours de crash de Google explique qu'un Transformer repose sur un mécanisme appelé auto-attention, qui calcule combien chaque token dans un morceau de texte doit influencer l'interprétation de tous les autres tokens. Understanding AI l'illustre avec des vecteurs de requête et de clé : chaque mot construit effectivement une liste de contrôle du type d'autres mots qu'il recherche, et l'attention fait correspondre ces listes de contrôle dans toute la phrase pour que le modèle puisse, par exemple, déterminer à quel nom un pronom comme "it" se réfère.

Cette étape est suivie par des couches feed-forward qui traitent la représentation mise à jour de chaque mot et poussent le modèle à prédire quel token devrait venir ensuite, selon Understanding AI. Parce que l'attention permet à chaque token de regarder directement tous les autres tokens indépendamment de la distance, les Transformers gèrent les passages longs et complexes de manière plus cohérente que les modèles séquentiels qui les ont précédés.

Entraînement : des milliards de suppositions, aucun libellé humain requis

Les LLM sont entraînés principalement par apprentissage non supervisé sur la prédiction masquée ou du token suivant, ce qui signifie que le système ne reçoit pas de réponses "correctes" écrites à la main pour la plupart de son entraînement. Au lieu de cela, la documentation de Google décrit un processus dans lequel les tokens dans le texte réel sont cachés et le modèle doit les deviner ; Understanding AI décrit la même idée en termes de prédiction du mot suivant dans d'énormes collections de textes extraits de livres, de sites Web et d'autres sources. Les paramètres dans le réseau — Understanding AI cite les 175 milliards de GPT-3, entraînés sur environ 500 milliards de mots — commencent définis aléatoirement et sont progressivement ajustés, supposition par supposition, jusqu'à ce que les suppositions du modèle s'alignent avec du texte réel.

Transformer un modèle brut en un assistant utile

Un modèle entraîné uniquement à prédire le token suivant n'est pas automatiquement un chatbot qui suit poliment les instructions. L'article technique de Hugging Face sur l'Apprentissage par Renforcement à partir des Retours Humains (RLHF) décrit les étapes supplémentaires que des entreprises comme OpenAI utilisent pour convertir un modèle de base en assistant. Premièrement, le modèle pré-entraîné peut être affiné par un fine-tuning supervisé sur des conversations d'exemple. Deuxièmement, des examinateurs humains classent plusieurs réponses du modèle au même prompt, et ces classements entraînent un modèle de récompense distinct qui apprend à noter les résultats comme une personne le ferait.

À la troisième étape, le modèle original est ajusté en utilisant l'apprentissage par renforcement — généralement l'Optimisation de Politique Proximale — pour qu'il produise des réponses que le modèle de récompense note fortement, tandis qu'une pénalité mathématique l'empêche de s'éloigner tellement de son comportement original qu'il commence à générer des absurdités purement pour jouer le score de récompense, selon la description de la méthode par Hugging Face.

Pourquoi les chatbots continuent à inventer des choses

Un article publié par des chercheurs d'OpenAI, "Pourquoi les modèles de langage hallucinées", disponible sur arXiv, affirme que les réponses fabriquées ne sont pas simplement un bug à corriger. L'article attribue les hallucinations à deux causes liées : un sous-produit statistique de la façon dont les modèles apprennent à prédire des continuations plausibles pendant le pré-entraînement, et la façon dont les modèles sont évalués par la suite. La plupart des benchmarks et classements notent une réponse comme correcte ou incorrecte et traitent une admission d'incertitude — un "Je ne sais pas" — comme une réponse incorrecte, selon l'article. Cette configuration récompense les suppositions confiantes plutôt que l'honnêteté sur l'incertitude, ce qui pousse les modèles à continuer à produire des déclarations fluides et qui sonnent spécifiques même lorsqu'elles manquent d'une base fiable pour elles.

Ce que le modèle fait réellement, en une phrase

Mis ensemble, le processus décrit dans toutes ces sources est le suivant : un chatbot transforme un prompt en tokens, les convertit en embeddings numériques, utilise des couches d'auto-attention pour peser comment chaque token se rapporte à tous les autres, et prédit à plusieurs reprises le token suivant le plus probable — un processus façonné, après le pré-entraînement, par un retour d'information humain conçu pour faire ressembler ces prédictions à des réponses utiles qui suivent les instructions plutôt qu'à du texte brut d'Internet.