语音识别和语音转文本AI如何实际工作

每当手机转录语音邮件、智能扬声器回答口头问题或字幕应用程序显示实时字幕时，同样的基本管道都在后台运行：声音被转换为视觉图案，神经网络读取该图案来猜测单词。这个解释器分解了该管道的工作原理、哪些系统被广泛使用，以及该技术仍然在哪里出现错误。

从声波到频谱图

语音转文本系统不直接读取原始音频。根据OpenAI在arXiv上发布的Whisper模型的技术论文，在任何转录发生之前，音频首先被转换为神经网络能够高效处理的形式。OpenAI在GitHub上发布的Whisper开发者文档将该模型描述为'通用语音识别模型'，处理多语言转录、翻译成英文、口语识别和语音活动检测——所有这些都通过一个模型而不是几个单独的阶段。

现代系统中的常见技术是将音频转换为梅尔频谱图：一个图表显示录音中每个时刻存在的频率，按比例缩放以大致匹配人类听觉对音调的感知。这种类似图像的表示，而不是原始波形，才是被输入神经网络的内容。

两种不同的方法：云规模和设备端

并非所有语音识别器的构建方式都相同，差异影响它们运行的方式和位置。

OpenAI的Whisper，在arXiv论文《通过大规模弱监督进行鲁棒语音识别》中描述，在从互联网收集的680,000小时多语言和多任务音频上进行了训练，使用与GPT等文本生成模型类似的编码器-解码器转换器架构。编码器处理频谱图；解码器然后逐个预测文本标记。论文的作者报告说，生成的模型在零样本设置中'对标准基准泛化良好'，这意味着没有对那些特定基准进行微调，并且'与人类相比，这些模型接近其准确性和鲁棒性'。

不同的设计目标塑造了Google的Gboard键盘的设备端识别器，在Google Research博客的2019年3月12日帖子中描述。Google没有构建在远程服务器上运行的大型模型，而是构建了它所称的'全神经、设备端语音识别器'，使用称为RNN转换器（RNN-T）的技术。通过应用参数量化，该系统压缩至约80兆字节——与Google传统生产模型使用的搜索图的近2GB相比——该帖子说该技术相比训练的浮点版本（压缩前约450兆字节）实现了大约四倍的减少。因为整个模型适合在手机上，Google表示它'提供与传统基于服务器的模型相同的准确性'，同时工作'即使您处于离线状态'，避免了发送音频到远程服务器所带来的延迟或中断。

为什么这对无障碍很重要

语音识别仅适用于在训练中看到足够多的语音模式。Google的AI社会公益团队在2019年5月7日博客帖子中启动了Euphonia项目，称标准模型由该帖子所称的'典型'语音构建，因此对于语音由该帖子命名的中风、ALS、多发性硬化症、创伤性脑损伤和帕金森病等疾病改变的人来说表现不佳；ALS倡导组织Team Gleason与该项目合作，单独列出脑瘫作为可能使这项技术更难使用的条件之一。该项目要求患有非典型语音的志愿者录制短语，以便研究人员能够构建更具包容性的模型。2022年同一博客上的后续帖子宣布该项目的研究扩展到四种额外语言——法语、印地语、日语和西班牙语——除了其原始英语工作外，并表示更广泛的努力已发展为Project Relate，在单独的2021年11月Google博客帖子中描述为一个Android应用程序，在当时以封闭测试版启动，旨在学习用户的个人语音模式并构建个性化识别模型。

技术仍然失败的地方：'幻觉'

自动转录不仅仅是缓慢或偶尔出错——研究人员记录了模型编造从未说过的内容的案例，这种故障模式通常被称为幻觉。Fortune的报道，发布于2024年10月26日，引用了来自康奈尔大学的研究人员Allison Koenecke和来自弗吉尼亚大学的Mona Sloane，他们发现在他们在Whisper转录中识别的幻觉中，近40%包含研究人员分类为有害或令人担忧的内容，包括虚假的暴力声明和发明的种族评论，这些在原始音频中不存在。同一报道说来自一个名为Nabla的公司的基于Whisper的转录已经被超过40个卫生系统中的30,000多名临床医生使用，大约有700万次医疗访问在那时已被转录，尽管OpenAI曾警告不要在'高风险领域'使用Whisper，其中转录错误可能影响决定。

人们每天遇到的地方

• 手机键盘：设备端听写（例如Gboard的离线识别器）将语音转换为打字文本，而无需将音频发送到服务器。
• 智能扬声器和语音助手：基于云的或混合模型解释口头命令。
• 无障碍工具：基于个性化模型构建的应用程序，如Project Relate，帮助为患有非典型语音模式的人转录语音。
• 医疗和专业转录：基于Whisper的商业产品转录协商和会议，这个用例现在因幻觉率面临审查。