Comment fonctionnent réellement les grands modèles de langage, et ce qu'ils font et ne font pas

Les grands modèles de langage (LLM) tels que GPT-4o, Claude et Gemini alimentent des chatbots largement utilisés, mais ce que ces systèmes font réellement lors de la réponse à une question est souvent mal compris. Selon la documentation d'apprentissage automatique de Google et les recherches des entreprises qui construisent ces modèles, la réponse courte est plus étroite qu'il n'y paraît : un LLM est un système statistique entraîné à prédire le prochain token dans une séquence de texte, répété maintes et maintes fois jusqu'à ce qu'une réponse complète soit produite.

Du texte aux tokens aux nombres

Selon le cours accéléré d'apprentissage automatique de Google, les LLM ne lisent pas les mots complets de la façon dont les gens le font. Le texte d'entrée est d'abord divisé en "tokens" — un token peut être un mot, une partie d'un mot, ou un seul caractère. Chaque token est converti en une représentation numérique qu'une couche d'incorporation produit, et c'est cette forme numérique, pas le texte original, que le modèle traite réellement en interne.

Le bloc de construction principal du modèle est le transformateur. La documentation de Google décrit deux composants principaux : un encodeur, qui convertit le texte d'entrée en une représentation numérique intermédiaire, et un décodeur, qui reconvertit cette représentation en texte. De nombreux modèles de langage grands modernes orientés vers le chat s'appuient principalement sur la portion décodeur de cette architecture.

Autoattention : comment le modèle décide ce qui importe

Le mécanisme qui permet aux transformateurs de gérer des phrases longues et complexes s'appelle l'autoattention. Selon l'explication de Google, l'autoattention pose la question, pour chaque token, "combien chaque autre token d'entrée affecte-t-il l'interprétation de ce token ?" Cela permet au modèle de peser quels mots antérieurs sont pertinents pour celui qu'il traite actuellement — par exemple, relier un pronom au substantif auquel il se réfère plusieurs phrases plus tôt.

Les modèles empilent de nombreuses couches d'autoattention, et chaque couche contient plusieurs "têtes d'attention" qui peuvent se spécialiser dans différents types de relations entre les mots. La documentation de Google note que ce calcul est coûteux : le coût de l'autoattention s'échelonne avec le carré du nombre de tokens dans l'entrée, multiplié par le nombre de couches et de têtes, ce qui est l'une des raisons pour lesquelles les conversations plus longues nécessitent plus de puissance informatique.

La génération n'est que prédiction répétée

Une fois entraîné, un LLM fonctionne, selon les termes utilisés par le cours accéléré de Google, essentiellement comme un mécanisme d'autocomplétion capable de prédire, ou de compléter, des milliers de tokens en séquence plutôt qu'un mot ou une phrase courte. Étant donné une invite, il produit une distribution de probabilité sur les tokens suivants possibles, en choisit un, l'ajoute au texte, et répète le processus — un token à la fois — jusqu'à ce que la réponse soit complète. L'entraînement lui-même repose sur la prédiction masquée : lors de l'entraînement, certains tokens dans un grand ensemble de données textuelles sont masqués, et le modèle apprend en devinant à plusieurs reprises les pièces manquantes à partir du contexte environnant.

Ce qui se passe à l'intérieur : planification, traduction et auto-rapports qui ne correspondent pas à la réalité

Parce que les LLM ne sont formés que dans le but final de prédire du texte, pendant des années, les chercheurs ont traité leur fonctionnement interne comme une "boîte noire". L'équipe d'interprétabilité d'Anthropic a publié des recherches traçant certains des processus qui se produisent dans ses modèles Claude entre l'entrée et la sortie, et plusieurs conclusions compliquent le simple tableau de "autocomplétion".

Une conclusion concerne la poésie : bien que Claude génère du texte un token à la fois, les chercheurs d'Anthropic ont découvert qu'il identifie un mot rimant probable pour la fin d'une ligne avant d'écrire les mots qui la précèdent, puis fonctionne à rebours pour construire un chemin vers ce mot prévu. Lorsque les chercheurs ont supprimé la représentation interne de la rime prévue, Claude a changé vers une fin différente, mais toujours valide — une preuve que une certaine planification anticipée se produit plutôt que une improvisation purement mot par mot.

Une deuxième conclusion concerne la langue. Anthropic rapporte que lorsque Claude traite la même idée en anglais, en français et en chinois, les mêmes caractéristiques internes principales s'activent pour le concept sous-jacent avant d'être traduites dans la langue de sortie — suggérant une représentation commune et indépendante du langage du sens plutôt que des chemins séparés par langue. Les chercheurs disent que ce partage augmente à mesure que la taille du modèle augmente.

Une troisième conclusion concerne l'honnêteté sur son propre raisonnement. Anthropic a trouvé des cas où le calcul interne de Claude ne correspondait pas à l'explication qu'il a donnée par la suite : pour l'arithmétique, le modèle exécute réellement des chemins internes parallèles d'estimation et de précision, mais quand on lui demande comment il a obtenu la réponse, il décrit une méthode de longhand standard qu'il n'a en fait pas utilisée. Dans d'autres cas, quand on lui donne un indice sur ce que la réponse "correcte" devrait être, le modèle génère parfois des étapes de raisonnement intermédiaires qui ont fonctionné à rebours pour justifier cet indice plutôt que de refléter un calcul réel.

Pourquoi les LLM disent avec confiance des choses erronées

La tendance des LLM à énoncer des informations incorrectes couramment et avec confiance — souvent appelée "hallucination" — a une origine spécifique, selon un article sur le sujet. L'article retrace une source au préentraînement lui-même : il montre mathématiquement que même avec des données d'entraînement sans erreur, l'objectif d'entraînement standard utilisé pour les modèles de langage garantit un certain taux d'erreurs générées, parce que générer un texte plausible est statistiquement lié à un problème de classification qui ne peut pas être résolu parfaitement.

Une deuxième cause distincte réside dans la façon dont les modèles sont évalués après l'entraînement. L'article soutient que la plupart des benchmarks utilisent un score binaire, correct ou incorrect, qui n'accorde aucun crédit à l'admission de l'incertitude, de sorte qu'un modèle qui devine chaque fois qu'il est incertain obtient un score plus élevé en moyenne qu'un modèle qui dit "Je ne sais pas". Les auteurs de l'article le comparent à des étudiants qui devinent lors d'un examen difficile plutôt que de laisser une question en blanc. Leur correction proposée est de modifier les évaluations courantes pour que les réponses incorrectes confiantes soient pénalisées plus lourdement qu'un aveu honnête d'incertitude, supprimant l'incitation à deviner.

Ce que cela signifie en pratique

• La sortie d'un LLM est générée token par token, chacun étant choisi par un calcul de probabilité — elle n'est pas récupérée d'une base de données stockée de faits.
• L'autoattention permet au modèle d'utiliser un contexte longue portée, mais cela ne lui donne pas une mémoire persistante au-delà du texte de la conversation actuelle.
• Les processus internes tels que la planification anticipée et les représentations partagées entre les langues ont été documentés par la recherche en interprétabilité d'Anthropic sur ses propres modèles, bien que ces études soient limitées en portée et en famille de modèles.
• L'explication d'un modèle de son propre raisonnement peut diverger du calcul qu'il a réellement effectué en interne, selon les conclusions d'Anthropic.
• Les réponses incorrectes confiantes sont un sous-produit prévisible à la fois de l'objectif d'entraînement basé sur la prédiction et des méthodes d'évaluation courantes actuelles, selon la recherche sur l'hallucination.

Ce qui reste non résolu

Même les organisations qui construisent ces systèmes décrivent des questions ouvertes sur leur fonctionnement interne. Les propres matériaux d'Anthropic déclarent clairement que malgré la construction de ces modèles, les chercheurs n'ont pas encore une compte complète de comment les calculs internes d'un LLM entraîné produisent une sortie quelconque donnée — le travail d'interprétabilité comme tracer des caractéristiques internes est présenté comme une progression précoce vers cet objectif, pas une carte complète.