Comment fonctionnent réellement la reconnaissance vocale et l'IA de conversion vocale en texte

Chaque fois qu'un téléphone transcrit un message vocal, qu'un haut-parleur intelligent répond à une question parlée ou qu'une application de sous-titrage affiche des sous-titres en direct, le même pipeline de base s'exécute en arrière-plan : le son est converti en un motif visuel, et un réseau de neurones lit ce motif pour deviner les mots. Cet explicateur décompose le fonctionnement de ce pipeline, quels systèmes sont largement utilisés et où la technologie commet encore des erreurs.

De l'onde sonore au spectrogramme

Les systèmes de conversion de la parole en texte ne lisent pas directement l'audio brut. Selon l'article technique d'OpenAI pour son modèle Whisper, posté sur arXiv, l'audio est d'abord converti en une forme qu'un réseau de neurones peut traiter efficacement avant que la transcription n'ait lieu. La documentation des développeurs pour Whisper, publiée sur GitHub par OpenAI, décrit le modèle comme 'un modèle de reconnaissance vocale polyvalent' qui gère la transcription multilingue, la traduction en anglais, l'identification de la langue parlée et la détection de l'activité vocale — tout par le biais d'un seul modèle plutôt que plusieurs étapes séparées.

La technique commune dans les systèmes modernes consiste à convertir l'audio en un spectrogramme mel : un graphique qui montre les fréquences présentes à chaque moment de l'enregistrement, mis à l'échelle pour correspondre approximativement à la façon dont l'oreille humaine perçoit la hauteur. Cette représentation de type image, plutôt que la forme d'onde brute, est ce qui est alimenté au réseau de neurones.

Deux approches différentes : à grande échelle dans le cloud et sur l'appareil

Tous les reconnaisseurs vocaux ne sont pas construits de la même manière, et les différences importent pour la façon dont et où ils peuvent s'exécuter.

Whisper d'OpenAI, décrit dans l'article arXiv 'Robust Speech Recognition via Large-Scale Weak Supervision', a été entraîné sur 680.000 heures d'audio multilingue et multi-tâches collecté sur Internet, en utilisant une architecture de transformateur encodeur-décodeur similaire à celle qui sous-tend les modèles de génération de texte comme GPT. L'encodeur traite le spectrogramme ; le décodeur prédit ensuite les tokens de texte un à la fois. Les auteurs de l'article rapportent que les modèles résultants 'se généralisent bien aux repères standards' dans les paramètres zéro-shot, ce qui signifie sans ajustement fin sur ces repères spécifiques, et que 'lorsqu'ils sont comparés aux humains, les modèles se rapprochent de leur exactitude et de leur robustesse'.

Un objectif de conception différent a façonné le reconnaisseur intégré de Google pour son clavier Gboard, décrit dans un article de blog Google Research du 12 mars 2019. Au lieu d'un grand modèle fonctionnant sur des serveurs distants, Google a construit ce qu'il a appelé un 'reconnaisseur vocal intégré entièrement neuronal' en utilisant une technique appelée transducteur RNN (RNN-T). Le système se comprime à environ 80 mégaoctets — contre près de 2 gigaoctets pour le graphique de recherche utilisé par les modèles de production traditionnels de Google — en appliquant la quantification des paramètres, une technique que l'article dit avoir livré une réduction d'environ quatre fois par rapport à la version en virgule flottante entraînée (environ 450 mégaoctets avant compression). Parce que tout le modèle rentre sur le téléphone, Google a déclaré qu'il 'offre la même précision que les modèles traditionnels basés sur serveur' tout en fonctionnant 'même si vous êtes hors ligne', évitant le délai ou les interruptions qui proviennent de l'envoi d'audio à un serveur distant.

Pourquoi cela compte pour l'accessibilité

La reconnaissance vocale ne fonctionne bien que pour les modèles vocaux qu'elle a suffisamment vus pendant l'entraînement. L'équipe IA pour le bien social de Google a lancé le Projet Euphonia dans un article de blog du 7 mai 2019, indiquant que les modèles standard sont construits à partir de grands volumes de ce que l'article appelle la parole 'typique' et fonctionnent donc mal pour les personnes dont la parole est altérée par des conditions que l'article énumère comme un accident vasculaire cérébral, la SLA, la sclérose en plaques, les lésions cérébrales traumatiques et la maladie de Parkinson ; Team Gleason, un groupe de défense de la SLA qui a travaillé avec le projet, énumère séparément la paralysie cérébrale parmi les conditions qui peuvent rendre cette technologie plus difficile à utiliser. Le projet demande à des bénévoles atteints d'une parole atypique d'enregistrer des phrases afin que les chercheurs puissent construire des modèles plus inclusifs. Un article de suivi de 2022 sur le même blog a annoncé que la recherche du projet s'étendait à quatre langues supplémentaires — français, hindi, japonais et espagnol — en plus de son travail original en anglais, et a indiqué que l'effort plus large s'était transformé en Project Relate, décrit dans un article de blog Google distinct de novembre 2021 comme une application Android, lancée à l'époque en bêta fermée, conçue pour apprendre les modèles vocaux individuels d'un utilisateur et construire un modèle de reconnaissance personnalisé.

Où la technologie échoue encore : 'hallucinations'

La transcription automatique n'est pas simplement lente ou occasionnellement incorrecte — les chercheurs ont documenté des cas où les modèles inventent du contenu qui n'a jamais été parlé, un mode de défaillance généralement appelé hallucination. Un rapport de Fortune, publié le 26 octobre 2024, cite les chercheurs Allison Koenecke de l'Université Cornell et Mona Sloane de l'Université de Virginie, qui ont constaté que parmi les hallucinations qu'ils ont identifiées dans les transcriptions de Whisper, près de 40% contenaient du contenu que les chercheurs ont classé comme nuisible ou préoccupant, y compris des déclarations de violence fabriquées et des commentaires raciaux inventés qui n'étaient pas présents dans l'audio original. Le même rapport a indiqué que la transcription basée sur Whisper d'une entreprise appelée Nabla était déjà utilisée par plus de 30.000 cliniciens dans 40 systèmes de santé, avec environ 7 millions de visites médicales transcrites à ce moment-là, bien que OpenAI ait mis en garde contre l'utilisation de Whisper dans les 'domaines à haut risque' où les erreurs de transcription pourraient affecter les décisions.

Où les gens rencontrent cela quotidiennement

• Claviers téléphoniques : la dictée intégrée sur l'appareil (par exemple, le reconnaisseur hors ligne de Gboard) convertit la parole en texte dactylographié sans envoyer d'audio à un serveur.
• Haut-parleurs intelligents et assistants vocaux : les modèles basés sur le cloud ou hybrides interprètent les commandes parlées.
• Outils d'accessibilité : les applications construites sur des modèles personnalisés, comme Project Relate, aident à transcrire la parole pour les personnes ayant des modèles vocaux atypiques.
• Transcription médicale et professionnelle : les produits commerciaux basés sur Whisper transcrivent les consultations et les réunions, un cas d'utilisation qui fait maintenant face à un examen minutieux des taux d'hallucination.