Cómo funciona realmente el reconocimiento de voz e inteligencia artificial de conversión de voz a texto

Cada vez que un teléfono transcribe un correo de voz, un altavoz inteligente responde a una pregunta hablada o una aplicación de subtítulos muestra subtítulos en vivo, la misma tubería básica se ejecuta en segundo plano: el sonido se convierte en un patrón visual, y una red neuronal lee ese patrón para adivinar las palabras. Este explicador desglosa cómo funciona esa tubería, qué sistemas están en amplio uso y dónde la tecnología aún comete errores.

De la onda sonora al espectrograma

Los sistemas de conversión de voz a texto no leen audio sin procesar directamente. Según el artículo técnico de OpenAI para su modelo Whisper, publicado en arXiv, el audio se convierte primero en una forma que una red neuronal puede procesar de manera eficiente antes de que ocurra cualquier transcripción. La documentación del desarrollador para Whisper, publicada en GitHub por OpenAI, describe el modelo como 'un modelo de reconocimiento de voz de propósito general' que maneja transcripción multilingüe, traducción al inglés, identificación del idioma hablado y detección de actividad de voz, todo a través de un modelo en lugar de varias etapas separadas.

La técnica común en los sistemas modernos es convertir el audio en un espectrograma mel: un gráfico que muestra qué frecuencias están presentes en cada momento de la grabación, escalado para corresponder aproximadamente con la forma en que el oído humano percibe el tono. Esa representación similar a una imagen, en lugar de la forma de onda sin procesar, es lo que se introduce en la red neuronal.

Dos enfoques diferentes: escala en la nube y en el dispositivo

No todos los reconocedores de voz se construyen de la misma manera, y las diferencias importan para cómo y dónde pueden ejecutarse.

Whisper de OpenAI, descrito en el artículo de arXiv 'Robust Speech Recognition via Large-Scale Weak Supervision', fue entrenado con 680.000 horas de audio multilingüe y multitarea recopilado de Internet, utilizando una arquitectura de transformador codificador-decodificador similar a la que hay detrás de modelos de generación de texto como GPT. El codificador procesa el espectrograma; el decodificador luego predice tokens de texto uno a la vez. Los autores del artículo informan que los modelos resultantes 'se generalizan bien a los puntos de referencia estándar' en configuraciones de cero disparos, es decir, sin ser ajustados a esos puntos de referencia específicos, y que 'cuando se comparan con humanos, los modelos se acercan a su precisión y robustez'.

Un objetivo de diseño diferente moldeó el reconocedor integrado de Google para su teclado Gboard, descrito en una publicación del 12 de marzo de 2019 en el blog de Google Research. En lugar de un modelo grande ejecutándose en servidores remotos, Google construyó lo que llamó un 'reconocedor de voz integrado completamente neural' utilizando una técnica llamada transductor RNN (RNN-T). El sistema se comprime a aproximadamente 80 megabytes, en comparación con casi 2 gigabytes para el gráfico de búsqueda utilizado por los modelos de producción tradicionales de Google, mediante la aplicación de cuantización de parámetros, una técnica que la publicación dice que entregó una reducción de aproximadamente cuatro veces en comparación con la versión de punto flotante entrenada (aproximadamente 450 megabytes antes de la compresión). Dado que todo el modelo cabe en el teléfono, Google dijo que 'ofrece la misma precisión que los modelos tradicionales basados en servidor' mientras funciona 'incluso cuando está fuera de línea', evitando la demora o interrupciones que provienen del envío de audio a un servidor remoto.

Por qué esto importa para la accesibilidad

El reconocimiento de voz solo funciona bien para patrones de voz que ha visto lo suficiente en el entrenamiento. El equipo de IA para el bien social de Google lanzó el Proyecto Eufonia en una publicación de blog del 7 de mayo de 2019, diciendo que los modelos estándar se construyen a partir de grandes volúmenes de lo que la publicación llama discurso 'típico' y por lo tanto funcionan mal para personas cuyo discurso se ve alterado por condiciones que la publicación nombra como accidente cerebrovascular, ELA, esclerosis múltiple, lesión cerebral traumática y Parkinson's; Team Gleason, un grupo de defensa de la ELA que ha trabajado con el proyecto, enumera por separado la parálisis cerebral entre las condiciones que pueden hacer que esta tecnología sea más difícil de usar. El proyecto pide a voluntarios con discurso atípico que graben frases para que los investigadores puedan construir modelos más inclusivos. Una publicación de seguimiento de 2022 en el mismo blog anunció que la investigación del proyecto se estaba ampliando a cuatro idiomas más (francés, hindi, japonés y español) además de su trabajo original en inglés, y dijo que el esfuerzo más amplio se había convertido en Proyecto Relate, descrito en una publicación separada del blog de Google de noviembre de 2021 como una aplicación de Android, lanzada en ese momento en beta cerrada, diseñada para aprender los patrones de voz individuales de un usuario y construir un modelo de reconocimiento personalizado.

Donde la tecnología aún falla: 'alucinaciones'

La transcripción automática no es simplemente lenta u ocasionalmente incorrecta: los investigadores han documentado casos en los que los modelos inventan contenido que nunca fue pronunciado, un modo de falla generalmente llamado alucinación. Un informe de Fortune, publicado el 26 de octubre de 2024, citó a los investigadores Allison Koenecke de la Universidad de Cornell y Mona Sloane de la Universidad de Virginia, quienes encontraron que de las alucinaciones que identificaron en transcripciones de Whisper, casi el 40% contenía contenido que los investigadores clasificaron como dañino o preocupante, incluyendo declaraciones de violencia fabricadas y comentarios raciales inventados que no estaban presentes en el audio original. El mismo informe dijo que la transcripción basada en Whisper de una empresa llamada Nabla ya estaba en uso por más de 30.000 clínicos en 40 sistemas de salud, con aproximadamente 7 millones de visitas médicas transcritas en ese momento, a pesar de que OpenAI había advertido en contra de usar Whisper en 'dominios de alto riesgo' donde los errores de transcripción podrían afectar las decisiones.

Dónde las personas se encuentran con esto diariamente

• Teclados telefónicos: la dictación integrada en el dispositivo (p. ej., el reconocedor sin conexión de Gboard) convierte la voz a texto escrito sin enviar audio a un servidor.
• Altavoces inteligentes y asistentes de voz: modelos basados en la nube o híbridos interpretan comandos hablados.
• Herramientas de accesibilidad: aplicaciones construidas sobre modelos personalizados, como Project Relate, ayudan a transcribir la voz de personas con patrones de discurso atípicos.
• Transcripción médica y profesional: los productos comerciales basados en Whisper transcriben consultas y reuniones, un caso de uso que ahora enfrenta escrutinio por las tasas de alucinación.