Come funzionano davvero il riconoscimento vocale e l'IA voice-to-text

Ogni volta che un telefono trascrive un messaggio vocale, un altoparlante intelligente risponde a una domanda pronunciata o un'app di sottotitoli visualizza sottotitoli in diretta, la stessa pipeline di base viene eseguita in background: il suono viene convertito in uno schema visivo e una rete neurale legge quello schema per indovinare le parole. Questo articolo spiega come funziona quella pipeline, quali sistemi sono ampiamente utilizzati e dove la tecnologia ancora fa errori.

Dall'onda sonora allo spettrogramma

I sistemi di riconoscimento vocale non leggono direttamente l'audio grezzo. Secondo l'articolo tecnico di OpenAI per il suo modello Whisper, pubblicato su arXiv, l'audio viene prima convertito in una forma che una rete neurale può elaborare in modo efficiente prima che avvenga qualsiasi trascrizione. La documentazione per gli sviluppatori di Whisper, pubblicata su GitHub da OpenAI, descrive il modello come "un modello di riconoscimento vocale di uso generale" che gestisce la trascrizione multilingue, la traduzione in inglese, l'identificazione della lingua parlata e il rilevamento dell'attività vocale – tutto attraverso un unico modello piuttosto che attraverso diversi stadi separati.

La tecnica comune tra i sistemi moderni è convertire l'audio in uno spettrogramma mel: un grafico che mostra quali frequenze sono presenti in ogni momento della registrazione, scalato per corrispondere approssimativamente a come l'orecchio umano percepisce l'intonazione. Questa rappresentazione simile a un'immagine, piuttosto che la forma d'onda grezza, è ciò che viene alimentato nella rete neurale.

Due approcci diversi: cloud-scale e on-device

Non tutti i riconoscitori vocali sono costruiti allo stesso modo e le differenze sono importanti per il modo in cui possono funzionare e dove.

Whisper di OpenAI, descritto nell'articolo di arXiv "Robust Speech Recognition via Large-Scale Weak Supervision", è stato addestrato su 680.000 ore di audio multilingue e multitask raccolti da internet, utilizzando un'architettura transformer encoder-decoder simile a quella dietro i modelli di generazione di testo come GPT. L'encoder elabora lo spettrogramma; il decoder prevede poi i token di testo uno alla volta. Gli autori dell'articolo riferiscono che i modelli risultanti "si generalizzano bene ai benchmark standard" nelle impostazioni zero-shot, ovvero senza essere messi a punto su quei benchmark specifici, e che "rispetto agli umani, i modelli si avvicinano alla loro precisione e robustezza".

Un diverso obiettivo di design ha plasmato il riconoscitore su dispositivo di Google per la sua tastiera Gboard, descritto in un post del 12 marzo 2019 sul blog di Google Research. Invece di un grande modello in esecuzione su server remoti, Google ha costruito quello che ha chiamato un "riconoscitore vocale tutto neurale su dispositivo" utilizzando una tecnica chiamata RNN transducer (RNN-T). Il sistema si comprime fino a circa 80 megabyte – rispetto a quasi 2 gigabyte per il grafico di ricerca utilizzato dai modelli di produzione tradizionali di Google – applicando la quantizzazione dei parametri, una tecnica che il post dice ha fornito approssimativamente una riduzione di quattro volte rispetto alla versione in virgola mobile addestrata (circa 450 megabyte prima della compressione). Poiché l'intero modello si adatta al telefono, Google ha affermato che "offre la stessa precisione dei modelli basati su server tradizionali" mentre funziona "anche quando sei offline", evitando il ritardo o le interruzioni che derivano dall'invio di audio a un server remoto.

Perché questo è importante per l'accessibilità

Il riconoscimento vocale funziona bene solo per i modelli di voce che ha visto abbastanza durante l'addestramento. Il team AI-for-social-good di Google ha lanciato Project Euphonia in un post di blog del 7 maggio 2019, affermando che i modelli standard sono costruiti da grandi volumi di quello che il post chiama voce "tipica" e quindi funzionano male per le persone la cui voce è alterata da condizioni che il post nomina come ictus, SLA, sclerosi multipla, lesioni cerebrali traumatiche e Parkinson; Team Gleason, un gruppo di difesa della SLA che ha lavorato con il progetto, elenca separatamente la paralisi cerebrale tra le condizioni che possono rendere questa tecnologia più difficile da usare. Il progetto chiede ai volontari con voce atipica di registrare frasi in modo che i ricercatori possano costruire modelli più inclusivi. Un post di follow-up del 2022 sullo stesso blog ha annunciato che la ricerca del progetto si stava espandendo a quattro lingue in più – francese, hindi, giapponese e spagnolo – oltre al suo lavoro originale in lingua inglese, e ha detto che lo sforzo più ampio si era trasformato in Project Relate, descritto in un post di blog di Google separato del novembre 2021 come un'app Android, lanciata all'epoca in beta chiuso, progettata per imparare i modelli di voce individuali di un utente e costruire un modello di riconoscimento personalizzato.

Dove la tecnologia ancora fallisce: "allucinazioni"

La trascrizione automatica non è semplicemente lenta o occasionalmente sbagliata – i ricercatori hanno documentato casi in cui i modelli inventano contenuti che non sono mai stati pronunciati, una modalità di errore generalmente chiamata allucinazione. Il rapporto di Fortune, pubblicato il 26 ottobre 2024, ha citato i ricercatori Allison Koenecke della Cornell University e Mona Sloane dell'University of Virginia, che hanno scoperto che delle allucinazioni che hanno identificato nei trascritti di Whisper, quasi il 40% conteneva contenuti che i ricercatori hanno classificato come dannosi o preoccupanti, inclusi statement di violenza fabbricati e commentari razziali inventati che non erano presenti nell'audio originale. Lo stesso rapporto ha affermato che la trascrizione basata su Whisper di un'azienda chiamata Nabla era già in uso da più di 30.000 clinici in 40 sistemi sanitari, con approssimativamente 7 milioni di visite mediche trascritte a quel punto, sebbene OpenAI avesse messo in guardia contro l'uso di Whisper in "domini ad alto rischio" in cui gli errori di trascrizione potrebbero influenzare le decisioni.

Dove le persone incontrano questo quotidianamente

• Tastiere dei telefoni: la dettatura su dispositivo (ad es. il riconoscitore offline di Gboard) converte il parlato in testo digitato senza inviare audio a un server.
• Altoparlanti intelligenti e assistenti vocali: i modelli basati su cloud o ibridi interpretano i comandi vocali.
• Strumenti di accessibilità: le app costruite su modelli personalizzati, come Project Relate, aiutano a trascrivere il parlato per le persone con modelli di voce atipici.
• Trascrizione medica e professionale: i prodotti commerciali basati su Whisper trascrivono consultazioni e riunioni, un caso d'uso che ora affronta il controllo sui tassi di allucinazione.