Как работают системы распознавания речи и голосовой ввод текста на основе ИИ

Каждый раз, когда телефон расшифровывает голосовую почту, умный динамик отвечает на произнесенный вопрос или приложение субтитров отображает прямые субтитры, в фоновом режиме работает один и тот же базовый конвейер: звук преобразуется в визуальный паттерн, и нейронная сеть читает этот паттерн, чтобы угадать слова. В этой статье разбирается, как работает этот конвейер, какие системы широко используются и где технология все еще допускает ошибки.

От звуковой волны к спектрограмме

Системы преобразования речи в текст не читают сырой звук напрямую. Согласно техническому документу OpenAI для его модели Whisper, опубликованному на arXiv, аудио сначала преобразуется в форму, которую нейронная сеть может эффективно обрабатывать, прежде чем происходит какое-либо транскрибирование. Документация разработчика для Whisper, опубликованная на GitHub компанией OpenAI, описывает модель как «модель распознавания речи общего назначения», которая обрабатывает многоязычное транскрибирование, перевод на английский язык, определение языка речи и определение голосовой активности — все это через одну модель, а не несколько отдельных этапов.

Общеупотребительная техника в современных системах — преобразование аудио в мел-спектрограмму: диаграмму, которая показывает, какие частоты присутствуют в каждый момент записи, масштабируемую примерно так же, как человеческое ухо воспринимает высоту звука. Это похожее на изображение представление, а не необработанная форма волны, — вот что поступает в нейронную сеть.

Два подхода: облачные и на устройстве

Не все распознаватели речи построены одинаково, и различия имеют значение для того, как и где они могут работать.

Whisper от OpenAI, описанный в документе arXiv «Robust Speech Recognition via Large-Scale Weak Supervision», был обучен на 680 000 часов многоязычного и многозадачного звука, собранного из интернета, с использованием архитектуры трансформатора кодер-декодер, похожей на ту, что используется в моделях создания текста, таких как GPT. Кодер обрабатывает спектрограмму; декодер затем предсказывает токены текста по одному. Авторы документа сообщают, что полученные модели «хорошо обобщаются на стандартные тесты» в нулевых настройках, то есть без тонкой настройки на этих конкретных тестах, и что «в сравнении с людьми модели приближаются к их точности и надежности».

Иная цель в дизайне определила распознаватель речи на устройстве Google для клавиатуры Gboard, описанный в посте из блога Google Research от 12 марта 2019 года. Вместо большой модели, работающей на удаленных серверах, Google построил то, что он называл «полностью нейронным распознавателем речи на устройстве», используя технику, называемую RNN-трансдюсер (RNN-T). Система сжимается примерно до 80 мегабайт — в отличие от почти 2 гигабайт графика поиска, используемого традиционными моделями производства Google — путем применения квантизации параметров, техники, которая, по словам поста, дала примерно четырехкратное сокращение по сравнению с обученной версией с плавающей запятой (около 450 мегабайт до сжатия). Поскольку вся модель помещается на телефоне, Google говорит, что она «предлагает ту же точность, что и традиционные модели на основе сервера», при этом работая «даже когда вы в автономном режиме», избегая задержки или перебоев, которые возникают при отправке звука на удаленный сервер.

Почему это важно для доступности

Распознавание речи хорошо работает только для паттернов речи, которые оно видело достаточно при обучении. Команда AI-for-social-good Google запустила Project Euphonia в посте блога от 7 мая 2019 года, говоря, что стандартные модели построены из больших объемов того, что этот пост называет «типичной» речью, и поэтому работают плохо для людей, у которых речь изменена условиями, которые пост называет инсульт, БАС, рассеянный склероз, черепно-мозговая травма и болезнь Паркинсона; Team Gleason, группа защиты БАС, которая работала над проектом, отдельно указывает на детский церебральный паралич среди условий, которые могут затруднить использование этой технологии. Проект просит добровольцев с нетипичной речью записывать фразы, чтобы исследователи могли построить более инклюзивные модели. В посте того же блога от 2022 года объявлялось, что исследования проекта расширяются на еще четыре языка — французский, хинди, японский и испанский — в дополнение к его первоначальной работе на английском языке, и говорилось, что более широкое усилие превратилось в Project Relate, описанное в отдельном посте блога Google от ноября 2021 года как приложение Android, запущенное в то время в закрытой бета-версии, предназначенное для изучения индивидуальных паттернов речи пользователя и построения персонализированной модели распознавания.

Где технология все еще дает сбой: «галлюцинации»

Автоматическое транскрибирование — это не просто медленно или иногда неправильно — исследователи задокументировали случаи, когда модели придумывают содержание, которое никогда не было произнесено, режим сбоя, который обычно называют галлюцинацией. Репортаж Fortune, опубликованный 26 октября 2024 года, ссылался на исследователей Allison Koenecke из Корнельского университета и Mona Sloane из университета Вирджинии, которые обнаружили, что из галлюцинаций, которые они определили в расшифровках Whisper, почти 40% содержали содержание, которое исследователи классифицировали как вредное или вызывающее озабоченность, включая сфабрикованные жестокие заявления и придуманный расовый комментарий, которого не было в исходном аудио. Тот же отчет сказал, что расшифровка на основе Whisper от компании Nabla уже использовалась более чем 30 000 клиницистов в 40 системах здравоохранения, с примерно 7 миллионами медицинских посещений, расшифрованных к этому моменту, хотя OpenAI предостерегала от использования Whisper в «высокорисковых областях», где ошибки при расшифровке могли бы повлиять на решения.

Где люди встречают это ежедневно

• Клавиатуры телефонов: диктовка на устройстве (например, автономный распознаватель Gboard) преобразует речь в печатный текст без отправки звука на сервер.
• Умные динамики и голосовые помощники: облачные или гибридные модели интерпретируют произнесенные команды.
• Инструменты доступности: приложения, созданные на основе персонализированных моделей, такие как Project Relate, помогают расшифровывать речь для людей с нетипичной речью.
• Медицинское и профессиональное транскрибирование: коммерческие продукты на основе Whisper расшифровывают консультации и встречи, вариант использования, который теперь сталкивается с критикой из-за темпов галлюцинаций.