Como o Reconhecimento de Fala e IA de Conversão de Voz em Texto Realmente Funciona

Toda vez que um telefone transcreve um correio de voz, um alto-falante inteligente responde a uma pergunta falada ou um aplicativo de legendagem exibe legendas ao vivo, o mesmo pipeline básico é executado em segundo plano: o som é convertido em um padrão visual, e uma rede neural lê esse padrão para adivinhar as palavras. Este explicador decompõe como esse pipeline funciona, quais sistemas estão em amplo uso e onde a tecnologia ainda comete erros.

De onda sonora para espectrograma

Os sistemas de conversão de fala em texto não leem áudio bruto diretamente. De acordo com o artigo técnico do OpenAI para seu modelo Whisper, postado no arXiv, o áudio é primeiro convertido para uma forma que uma rede neural possa processar de forma eficiente antes de qualquer transcrição acontecer. A documentação do desenvolvedor para Whisper, publicada no GitHub pelo OpenAI, descreve o modelo como 'um modelo de reconhecimento de fala de propósito geral' que manipula transcrição multilíngue, tradução para o inglês, identificação de idioma falado e detecção de atividade de fala — tudo por meio de um modelo em vez de vários estágios separados.

A técnica comum em sistemas modernos é converter o áudio em um espectrograma mel: um gráfico que mostra quais frequências estão presentes em cada momento da gravação, dimensionado para corresponder aproximadamente a como o ouvido humano percebe a tonalidade. Essa representação semelhante a uma imagem, em vez da forma de onda bruta, é o que é alimentado na rede neural.

Duas abordagens diferentes: escala em nuvem e no dispositivo

Nem todos os reconhecedores de fala são construídos da mesma maneira, e as diferenças importam para como e onde eles podem executar.

O Whisper do OpenAI, descrito no artigo do arXiv 'Robust Speech Recognition via Large-Scale Weak Supervision', foi treinado em 680.000 horas de áudio multilíngue e multitarefa coletado da internet, usando uma arquitetura de transformador codificador-decodificador semelhante à que está por trás de modelos de geração de texto como o GPT. O codificador processa o espectrograma; o decodificador então prevê tokens de texto um por vez. Os autores do artigo relatam que os modelos resultantes 'generalizam bem para benchmarks padrão' em configurações zero-shot, o que significa sem ajuste fino para esses benchmarks específicos, e que 'quando comparados aos humanos, os modelos se aproximam de sua precisão e robustez'.

Um objetivo de design diferente moldou o reconhecedor integrado do Google para seu teclado Gboard, descrito em um post do blog Google Research de 12 de março de 2019. Em vez de um modelo grande sendo executado em servidores remotos, o Google construiu o que chamou de 'reconhecedor de fala integrado totalmente neural' usando uma técnica chamada transdutor RNN (RNN-T). O sistema é comprimido para cerca de 80 megabytes — em comparação com quase 2 gigabytes para o gráfico de busca usado pelos modelos de produção tradicionais do Google — aplicando quantização de parâmetros, uma técnica que o post diz que entregou uma redução de aproximadamente quatro vezes em relação à versão de ponto flutuante treinada (cerca de 450 megabytes antes da compressão). Como o modelo inteiro se encaixa no telefone, o Google disse que 'oferece a mesma precisão que os modelos tradicionais baseados em servidor' enquanto funciona 'mesmo quando você está offline', evitando o atraso ou interrupções que vêm de enviar áudio para um servidor remoto.

Por que isso importa para acessibilidade

O reconhecimento de fala funciona bem apenas para padrões de fala que foram vistos o suficiente no treinamento. A equipe de IA para o bem social do Google lançou o Projeto Euphonia em um post do blog de 7 de maio de 2019, dizendo que os modelos padrão são construídos a partir de grandes volumes do que o post chama de fala 'típica' e, portanto, funcionam mal para pessoas cuja fala é alterada por condições que o post nomeia como acidente vascular cerebral, ELA, esclerose múltipla, lesão cerebral traumática e Parkinson's; Team Gleason, um grupo de defesa de ELA que trabalhou com o projeto, separa lista paralisia cerebral entre as condições que podem dificultar o uso dessa tecnologia. O projeto pede a voluntários com fala atípica que gravem frases para que os pesquisadores possam construir modelos mais inclusivos. Um post de acompanhamento de 2022 no mesmo blog anunciou que a pesquisa do projeto estava se expandindo para quatro idiomas adicionais — francês, hindi, japonês e espanhol — além de seu trabalho original em inglês, e disse que o esforço mais amplo havia crescido para o Project Relate, descrito em um post separado do blog do Google de novembro de 2021 como um aplicativo Android, lançado na época em beta fechado, projetado para aprender os padrões de fala individuais de um usuário e construir um modelo de reconhecimento personalizado.

Onde a tecnologia ainda falha: 'alucinações'

A transcrição automática não é simplesmente lenta ou ocasionalmente incorreta — pesquisadores documentaram casos em que os modelos inventam conteúdo que nunca foi falado, um modo de falha geralmente chamado de alucinação. Uma reportagem do Fortune, publicada em 26 de outubro de 2024, citou os pesquisadores Allison Koenecke da Universidade de Cornell e Mona Sloane da Universidade de Virgínia, que descobriram que das alucinações que identificaram nas transcrições do Whisper, quase 40% continham conteúdo que os pesquisadores classificaram como prejudicial ou preocupante, incluindo declarações de violência fabricadas e comentários raciais inventados que não estavam presentes no áudio original. O mesmo relatório disse que a transcrição baseada em Whisper de uma empresa chamada Nabla já estava em uso por mais de 30.000 clínicos em 40 sistemas de saúde, com aproximadamente 7 milhões de visitas médicas transcritas naquele momento, embora o OpenAI tenha advertido contra o uso do Whisper em 'domínios de alto risco' onde erros de transcrição poderiam afetar decisões.

Onde as pessoas encontram isso diariamente

• Teclados de telefone: ditado integrado no dispositivo (por exemplo, o reconhecedor offline do Gboard) converte fala em texto digitado sem enviar áudio para um servidor.
• Alto-falantes inteligentes e assistentes de voz: modelos baseados em nuvem ou híbridos interpretam comandos falados.
• Ferramentas de acessibilidade: aplicativos construídos em modelos personalizados, como Project Relate, ajudam a transcrever fala para pessoas com padrões de fala atípicos.
• Transcrição médica e profissional: produtos comerciais baseados em Whisper transcrevem consultas e reuniões, um caso de uso que agora enfrenta escrutínio sobre taxas de alucinação.