音声認識とボイスツーテキストAIの実際の仕組み

スマートフォンがボイスメール、スマートスピーカーが音声質問に回答したり、キャプションアプリがライブ字幕を表示したりするたびに、同じ基本的なパイプラインがバックグラウンドで実行されます：音声は視覚的なパターンに変換され、ニューラルネットワークはそのパターンを読んで単語を推測します。このエクスプレーナーは、そのパイプラインがどのように機能するか、どのシステムが広く使用されているか、そしてこの技術がまだ間違いを犯す場所を説明します。

音波からスペクトログラムへ

音声テキスト変換システムは生の音声を直接読みません。arXivに投稿されたOpenAIのWhisperモデルの技術論文によると、トランスクリプションが行われる前に、音声はまずニューラルネットワークが効率的に処理できる形式に変換されます。OpenAIがGitHubで公開したWhisperの開発者ドキュメンテーションは、モデルを「多言語トランスクリプション、英語への翻訳、話言語識別、音声活動検出を処理する汎用音声認識モデル」と説明しており、複数の別個ステージではなく1つのモデルを通じてすべてを実行します。

現代的なシステム全体で共通の手法は、音声をメルスペクトログラムに変換することです：記録の各瞬間にどの周波数が存在するかを示し、人間の耳が音高をどのように認識するかにほぼ一致するようにスケーリングされたチャート。その画像のような表現が、生の波形ではなく、ニューラルネットワークに入力されるものです。

2つの異なるアプローチ：クラウドスケールとオンデバイス

すべての音声認識器が同じ方法で構築されているわけではなく、その違いは、それらがどのように、どこで実行できるかに影響します。

arXiv論文『大規模弱教師によるロバストな音声認識』で説明されているOpenAIのWhisperは、インターネットから収集した680,000時間の多言語および多タスク音声データで訓練され、GPTなどのテキスト生成モデルの背後にあるものと同様のエンコーダ-デコーダトランスフォーマアーキテクチャを使用しています。エンコーダはスペクトログラムを処理し、デコーダはテキストトークンを1つずつ予測します。論文の著者は、結果のモデルが「ゼロショット設定で標準的なベンチマークに良好に一般化される」と報告しており、つまり、それらの特定のベンチマークで微調整されることなく、「人間と比較すると、モデルは彼らの精度とロバストネスに近づいている」と述べています。

Google Gboardキーボード用のオンデバイス認識器を形作った異なる設計目標は、2019年3月12日のGoogleリサーチブログの投稿で説明されています。リモートサーバーで実行される大規模なモデルではなく、Googleはいわゆる「オールニューラル、オンデバイス音声認識器」をRNNトランスデューサ（RNN-T）と呼ばれる手法を使用して構築しました。このシステムは、パラメータ量子化と呼ばれる手法を適用することで約80メガバイトまで圧縮されます。この投稿によると、これは従来の浮動小数点版（圧縮前に約450メガバイト）と比較してほぼ4倍の削減を実現しました。これはGoogleの従来の本番モデルで使用される検索グラフの約2ギガバイトと対比されます。モデル全体がスマートフォンに収まるため、Googleはそれが「従来のサーバーベースのモデルと同じ精度を提供する」と述べており、「オフラインの場合でも機能する」ため、リモートサーバーへの音声送信に伴う遅延や中断を回避できます。

アクセシビリティにとってなぜこれが重要なのか

音声認識は、訓練で十分に見たことのある音声パターンに対してのみうまく機能します。Googleのソーシャルグッドのためのキズムチーム（AI for social good）は、2019年5月7日のブログ投稿でプロジェクト・ユーフォニアを立ち上げ、標準的なモデルは、投稿が「典型的な」音声と呼ぶものの大量から構築されており、そのため、脳卒中、ALS、多発性硬化症、脳外傷、パーキンソン病によって音声が変わった人々のためにはパフォーマンスが悪いと述べています。プロジェクトと協力しているALS擁護団体のTeam Gleasanは、脳性麻痺をこの技術を使いにくくする状態の1つとして別途リストアップしています。プロジェクトは、非定型音声を持つボランティアに句を録音してもらい、研究者がより包括的なモデルを構築できるようにしています。同じブログの2022年のフォローアップ投稿は、プロジェクトの研究が、元の英語作業に加えて、フランス語、ヒンディー語、日本語、スペイン語の4つの言語にさらに拡大したことを発表し、より広い取り組みがプロジェクト・リレート（Project Relate）に成長したと述べています。これは、2021年11月の別のGoogleブログ投稿で説明されている通り、クローズドベータ段階で当時起動されたAndroidアプリで、ユーザーの個別の音声パターンを学習し、パーソナライズされた認識モデルを構築するために設計されています。

技術がまだ失敗する場所：「ハルシネーション」

自動トランスクリプションは単に遅いまたは時々間違っているだけではなく、研究者はモデルが実際には話されなかったコンテンツを生成する場合があることを文書化しており、この失敗モードは一般的に「ハルシネーション」と呼ばれます。Fortuneによる2024年10月26日に公開された報道は、コーネル大学のAllison Koeneackeと、バージニア大学のMona Sloaneの研究者を引用しており、彼らはWhisperトランスクリプトで特定したハルシネーションのうち、ほぼ40%が、研究者が有害または懸念があると分類したコンテンツを含んでいることを発見し、これには、でっち上げられた暴力的な発言と、元の音声に存在しなかった作られた人種的論評が含まれていました。同じ報道によると、Nablaという会社のWhisperベースのトランスクリプションは、その時点で40の医療システム全体にわたって30,000人以上の臨床医によって既に使用されており、およそ700万の医療訪問がそのポイントまでにトランスクリプションされていましたが、OpenAIはトランスクリプション・エラーが意思決定に影響を与える可能性がある「高リスク領域」でWhisperを使用しないよう警告していました。

人々が毎日これに遭遇する場所

• スマートフォンキーボード：オンデバイス音声認識（例えば、Gboardのオフライン認識器）は、音声をサーバーに送信せずに話された言葉を入力テキストに変換します。
• スマートスピーカーと音声アシスタント：クラウドベースまたはハイブリッドモデルは、音声コマンドを解釈します。
• アクセシビリティツール：パーソナライズされたモデルに基づくアプリ（例えば、Project Relate）は、非定型音声パターンを持つ人々のための音声トランスクリプションを支援します。
• 医療および専門的なトランスクリプション：Whisperベースの商用製品はコンサルテーションおよび会議をトランスクリプションし、この使用事例は現在、ハルシネーション率に関するスクラティニーに直面しています。