Hoe spraakherkenning en voice-to-text AI eigenlijk werken

Elke keer dat een telefoon een voicemailbericht transcribeert, een slimme luidspreker een gesproken vraag beantwoordt of een ondertitelingsapp live-ondertiteling weergeeft, wordt dezelfde basispijplijn op de achtergrond uitgevoerd: geluid wordt omgezet in een visueel patroon en een neuraal netwerk leest dat patroon om de woorden te raden. Dit artikel breekt af hoe die pijplijn werkt, welke systemen veel worden gebruikt en waar de technologie nog steeds fouten maakt.

Van geluidsgolf naar spectrogram

Speech-to-text-systemen lezen niet rechtstreeks rauwe audio. Volgens OpenAIs technische paper voor zijn Whisper-model, gepubliceerd op arXiv, wordt audio eerst omgezet in een vorm die een neuraal netwerk efficiënt kan verwerken voordat transcriptie plaatsvindt. Ontwikkelaarsdocumentatie voor Whisper, gepubliceerd op GitHub door OpenAI, beschrijft het model als "een spraakherkenningsmodel voor algemeen gebruik" dat meertalige transcriptie, vertaling naar het Engels, identificatie van gesproken taal en stemactiviteitsdetectie verwerkt – alles via één model in plaats van verschillende afzonderlijke stadia.

De veelgebruikte techniek in moderne systemen is om de audio om te zetten in een mel-spectrogram: een grafiek die aangeeft welke frequenties op elk moment in de opname aanwezig zijn, geschaald om ruwweg overeen te komen met hoe het menselijk oor toonhoogte waarneemt. Die afbeeldingsachtige representatie, in plaats van de ruwe golfvorm, is wat in het neurale netwerk wordt ingevoerd.

Twee verschillende benaderingen: cloud-schaal en on-device

Niet alle spraakherkenners zijn op dezelfde manier gebouwd en de verschillen zijn belangrijk voor hoe en waar ze kunnen draaien.

Whisper van OpenAI, beschreven in het arXiv-artikel "Robust Speech Recognition via Large-Scale Weak Supervision", werd getraind op 680.000 uur meertalige en multitask-audio verzameld van internet, met behulp van een encoder-decoder-transformatorarchitectuur vergelijkbaar met die achter tekstgeneratiemodellen zoals GPT. De encoder verwerkt het spectrogram; de decoder voorspelt dan teksttokens één voor één. De auteurs van het artikel melden dat de resulterende modellen "goed generaliseren naar standaardbenchmarks" in zero-shot-instellingen, zonder fijnafstemming op die specifieke benchmarks, en dat "in vergelijking met mensen de modellen hun nauwkeurigheid en robuustheid benaderen".

Een ander ontwerpsdoel vormde Googles on-device-herkenner voor zijn Gboard-toetsenbord, beschreven in een artikel van 12 maart 2019 op de Google Research-blog. In plaats van een groot model dat op externe servers draait, bouwde Google wat het "all-neural, on-device speech recognizer" noemde met behulp van een techniek genaamd RNN-transducer (RNN-T). Het systeem comprimeerde tot ongeveer 80 megabyte – versus bijna 2 gigabyte voor de zoekgrafiek die door Googles traditionele productiemodellen wordt gebruikt – door parameterquantisering toe te passen, een techniek die het artikel zegt ongeveer een viervoudige reductie opleverde in vergelijking met de getrainde floating-point-versie (ongeveer 450 megabyte vóór compressie). Omdat het volledige model op de telefoon past, zei Google dat het "dezelfde nauwkeurigheid biedt als de traditionele op server gebaseerde modellen" terwijl het "zelfs werkt wanneer u offline bent", wat de vertraging of onderbrekingen vermijdt die voortkomen uit het verzenden van audio naar een externe server.

Waarom dit belangrijk is voor toegankelijkheid

Spraakherkenning werkt alleen goed voor spraakregelmatige patronen die het voldoende in training heeft gezien. Het AI-for-social-good-team van Google lanceerde Project Euphonia in een blogbericht van 7 mei 2019, stellende dat standaardmodellen zijn opgebouwd uit grote volumes van wat het bericht "typische" spraak noemt en daarom slecht presteren voor mensen wiens spraak wordt veranderd door aandoeningen die het bericht noemt als beroerte, ALS, multiple sclerose, traumatisch hersenletsel en Parkinson; Team Gleason, een ALS-advocatengroep die met het project heeft samengewerkt, vermeldt afzonderlijk cerebrale parese onder de aandoeningen die deze technologie moeilijker kunnen maken. Het project vraagt vrijwilligers met atypische spraak om zinnen op te nemen zodat onderzoekers meer inclusieve modellen kunnen bouwen. Een vervolgbericht van 2022 op dezelfde blog kondigde aan dat het onderzoek van het project zich uitbreidde naar vier talen – Frans, Hindi, Japans en Spaans – aanvullend op het originele Engelstalige werk, en zei dat de bredere inspanning was gegroeid tot Project Relate, beschreven in een afzonderlijk blogbericht van Google van november 2021 als een Android-app, op dat moment gelanceerd in gesloten bètafase, ontworpen om de individuele spraakpatronen van een gebruiker te leren en een gepersonaliseerd herkenningsmodel te bouwen.

Waar de technologie nog steeds faalt: "hallucinaties"

Automatische transcriptie is niet eenvoudigweg langzaam of af en toe fout – onderzoekers hebben gevallen gedocumenteerd waarin modellen inhoud uitvinden die nooit is uitgesproken, een foutmodus die algemeen wordt genoemd hallucinatie. Een rapport van Fortune, gepubliceerd op 26 oktober 2024, citeerde onderzoekers Allison Koenecke van Cornell University en Mona Sloane van de University of Virginia, die ontdekten dat van de hallucinaties die zij in Whisper-transcripten identificeerden, bijna 40% inhoud bevatte die onderzoekers als schadelijk of zorgwekkend classificeerden, inclusief vervalste gewelddadige verklaringen en uitgevonden rassencommentaar dat niet in de oorspronkelijke audio aanwezig was. Hetzelfde rapport zei dat transcriptie op basis van Whisper van een bedrijf genaamd Nabla al werd gebruikt door meer dan 30.000 clinici in 40 gezondheidsystemen, met ongeveer 7 miljoen medische bezoeken die op dat moment waren getranscribeerd, ondanks dat OpenAI had gewaarschuwd tegen het gebruik van Whisper in "risicovolle domeinen" waar transcriptiefouten beslissingen kunnen beïnvloeden.

Waar mensen dit dagelijks tegenkomen

• Telefoontoetsenborden: on-device dictering (bijv. Gboards offline-herkenner) zet spraak om in getypte tekst zonder audio naar een server te sturen.
• Slimme luidsprekers en spraakassistenten: cloud-gebaseerde of hybride modellen interpreteren gesproken opdrachten.
• Toegankelijkheidshulpmiddelen: apps gebouwd op gepersonaliseerde modellen, zoals Project Relate, helpen spraak te transcriberen voor mensen met atypische spraakpatronen.
• Medische en professionele transcriptie: op Whisper gebaseerde commerciële producten transcriberen consultaties en vergaderingen, een gebruiksscenario dat nu onder controle staat vanwege hallucinatiepercentages.