語音辨識和語音轉文字 AI 的實際運作方式

每當手機轉錄語音信箱、智慧揚聲器回答口頭問題，或字幕應用顯示即時字幕時，同一個基本管道就在後台運行：聲音被轉換成視覺圖案，神經網絡讀取該圖案來猜測詞語。本文詳細解釋了該管道的運作方式、哪些系統被廣泛使用，以及該技術仍然出錯的地方。

從聲波到頻譜圖

語音轉文字系統不直接讀取原始音頻。根據OpenAI發佈在arXiv上的Whisper模型技術論文，音頻首先被轉換為神經網絡能夠有效處理的形式，然後才進行任何轉錄。OpenAI在GitHub上發佈的Whisper開發文檔將該模型描述為「一個通用語音辨識模型」，可處理多語言轉錄、英文翻譯、口頭語言辨識和語音活動檢測——所有這些都通過一個模型而非多個獨立階段實現。

現代系統中的常見技術是將音頻轉換為梅爾頻譜圖：一張圖表，顯示錄音中每個時刻存在哪些頻率，按照人耳對音高的感知方式進行縮放。這種類似圖像的表示（而非原始波形）就是輸入神經網絡的內容。

兩種不同的方法：雲端規模和設備端

並非所有語音辨識系統都以相同方式構建，差異決定了它們如何以及在哪裡運行。

OpenAI的Whisper在arXiv論文「通過大規模弱監督進行強健語音辨識」中有所描述，該模型使用編碼器-解碼器轉換器架構進行訓練，類似於GPT等文本生成模型背後的架構，訓練數據為680,000小時的從互聯網收集的多語言和多任務音頻。編碼器處理頻譜圖；解碼器然後逐個預測文本令牌。論文作者報告該模型「在零次學習設置下能很好地泛化到標準基準」，這意味著無需在這些特定基準上進行微調，且「與人類相比，該模型接近其準確性和穩健性」。

Google的Gboard鍵盤設備端辨識器採用了不同的設計目標，該系統在Google Research部落格2019年3月12日的文章中有所描述。Google沒有使用在遠端伺服器上運行的大型模型，而是構建了被稱為「全神經設備端語音辨識器」的系統，使用了一種稱為RNN轉換器(RNN-T)的技術。該系統通過應用參數量化壓縮到約80MB——相比之下Google傳統生產模型使用的搜索圖約為2GB——該技術據該文章說相比訓練後的浮點版本（壓縮前約450MB）實現了大約四倍的縮減。由於整個模型都能放在手機上，Google表示它「提供與傳統伺服器型模型相同的準確性」，同時「即使離線也能工作」，避免了向遠端伺服器發送音頻帶來的延遲或中斷。

為什麼這對無障礙很重要

語音辨識只能很好地識別訓練中看到足夠多的語音模式。Google的AI社會公益團隊在2019年5月7日的部落格文章中推出了Project Euphonia，稱標準模型是根據該文章稱為「典型」語音的大量數據構建的，因此對於語音因中風、ALS、多發性硬化症、創傷性腦損傷和帕金森氏症而改變的人表現不佳；與該項目合作過的ALS倡導組織Team Gleason另外列出了腦癱作為可能使該技術更難使用的條件之一。該項目要求具有非典型語音的志願者錄製短語，以便研究人員可以構建更具包容性的模型。同一部落格在2022年的後續文章宣佈該項目的研究正在擴展到四種更多語言——法語、印地語、日語和西班牙語——除了其最初的英語工作之外，並表示更廣泛的努力已發展成Project Relate，在2021年11月的一篇單獨Google部落格文章中描述為一個Android應用程式，當時以測試版形式推出，旨在學習用戶的個人語音模式並構建個性化的辨識模型。

該技術仍然失敗的地方：「幻覺」

自動轉錄不僅僅是緩慢或偶爾出錯——研究人員記錄了模型發明未曾被說過的內容的案例，這種失敗模式通常稱為幻覺。Fortune在2024年10月26日發表的報導引用了康奈爾大學的Allison Koenecke和弗吉尼亞大學的Mona Sloane，他們發現在他們在Whisper轉錄中識別的幻覺中，近40%包含研究人員分類為有害或令人擔憂的內容，包括編造的暴力聲明和在原始音頻中不存在的虛構種族評論。同一報告稱Nabla公司基於Whisper的轉錄服務已被40個衛生系統中超過30,000名臨床醫生使用，到那時大約700萬次醫療訪問已被轉錄，儘管OpenAI曾警告不要在「高風險領域」使用Whisper，因為轉錄錯誤可能影響決定。

人們每天遇到這種情況的地方

• 手機鍵盤：設備端聽寫(如Gboard的離線辨識器)將語音轉換為鍵入的文本，無需將音頻發送到伺服器。
• 智慧揚聲器和語音助手：基於雲端或混合模型解釋口頭命令。
• 無障礙工具：基於個性化模型的應用程式，如Project Relate，幫助為具有非典型語音模式的人轉錄語音。
• 醫療和專業轉錄：基於Whisper的商業產品轉錄諮詢和會議，這個用例現在因幻覺率而面臨審查。