음성 인식 및 음성-텍스트 AI가 실제로 어떻게 작동하는지

휴대폰이 음성 메일을 전사하고, 스마트 스피커가 음성 질문에 응답하고, 캡션 앱이 실시간 자막을 표시할 때마다, 동일한 기본 파이프라인이 백그라운드에서 실행됩니다: 음성은 시각적 패턴으로 변환되고, 신경망이 그 패턴을 읽어 단어를 추측합니다. 이 설명자는 해당 파이프라인의 작동 방식, 광범위하게 사용되는 시스템, 그리고 기술이 여전히 실수를 범하는 위치를 분석합니다.

음파에서 스펙트로그램으로

음성-텍스트 시스템은 원본 오디오를 직접 읽지 않습니다. arXiv에 게시된 OpenAI의 Whisper 모델에 대한 기술 논문에 따르면, 전사가 이루어지기 전에 오디오는 먼저 신경망이 효율적으로 처리할 수 있는 형태로 변환됩니다. OpenAI가 GitHub에 게시한 Whisper에 대한 개발자 문서는 이 모델을 "다국어 전사, 영어로의 번역, 음성 언어 식별 및 음성 활동 감지를 처리하는 범용 음성 인식 모델"이라고 설명하며, 여러 개의 별개 단계가 아닌 하나의 모델을 통해 모두를 수행합니다.

현대적 시스템 전반에 걸친 공통 기법은 오디오를 멜 스펙트로그램으로 변환하는 것입니다: 녹음의 각 순간에 어떤 주파수가 존재하는지 보여주는 차트로, 인간의 귀가 음높이를 인식하는 방식과 대략적으로 일치하도록 스케일링됩니다. 그 이미지 같은 표현이, 원본 파형이 아닌, 신경망에 입력되는 것입니다.

두 가지 다른 접근 방식: 클라우드 스케일과 온디바이스

모든 음성 인식기가 동일한 방식으로 구축되지는 않으며, 이러한 차이는 이들이 어떻게, 어디서 실행될 수 있는지에 영향을 미칩니다.

arXiv 논문 '대규모 약한 감독을 통한 강건한 음성 인식'에서 설명된 OpenAI의 Whisper는 인터넷에서 수집한 680,000시간의 다국어 및 다중 작업 오디오로 훈련되었으며, GPT와 같은 텍스트 생성 모델 뒤의 구조와 유사한 인코더-디코더 트랜스포머 아키텍처를 사용합니다. 인코더는 스펙트로그램을 처리하고, 디코더는 텍스트 토큰을 한 번에 하나씩 예측합니다. 논문의 저자들은 결과 모델이 "제로샷 설정에서 표준 벤치마크에 잘 일반화된다"고 보고하며, 즉 이들 특정 벤치마크에서 미세 조정되지 않고, "인간과 비교할 때, 모델은 그들의 정확도와 견고성에 접근한다"고 언급했습니다.

Google의 Gboard 키보드용 온디바이스 인식기를 형성한 다른 설계 목표는 2019년 3월 12일의 Google Research 블로그 게시물에서 설명됩니다. 원격 서버에서 실행되는 대규모 모델 대신, Google은 RNN 트랜스듀서(RNN-T)라는 기법을 사용하여 소위 "올 뉴럴, 온디바이스 음성 인식기"를 구축했습니다. 이 시스템은 매개변수 양자화라는 기법을 적용하여 약 80메가바이트로 압축되는데, 이 게시물은 훈련된 부동소수점 버전(압축 전 약 450메가바이트)과 비교하여 약 4배의 감소를 달성했다고 말하며, 이는 Google의 전통적인 프로덕션 모델에서 사용되는 검색 그래프의 약 2기가바이트와 비교됩니다. 전체 모델이 휴대폰에 맞기 때문에, Google은 이것이 "기존 서버 기반 모델과 동일한 정확도를 제공한다"고 말하며, "오프라인일 때도 작동하여" 원격 서버로 오디오를 보낼 때 발생하는 지연이나 중단을 피합니다.

접근성을 위해 이것이 중요한 이유

음성 인식은 훈련에서 충분히 본 음성 패턴에 대해서만 잘 작동합니다. Google의 사회적 선을 위한 AI 팀은 2019년 5월 7일의 블로그 게시물에서 Project Euphonia를 시작했으며, 표준 모델은 게시물에서 '전형적인' 음성의 대량으로부터 구축되므로, 뇌졸중, ALS, 다발성경화증, 외상성 뇌손상, 파킨슨병으로 인해 음성이 변한 사람들의 경우 성능이 좋지 않다고 말합니다. 이 프로젝트와 함께 일한 ALS 옹호 단체인 Team Gleason은 이 기술을 더 어렵게 만드는 조건 중 하나로 뇌성마비를 별도로 나열합니다. 이 프로젝트는 비정형 음성을 가진 자원봉사자들에게 구문을 녹음하도록 요청하여 연구자들이 더 포괄적인 모델을 구축할 수 있도록 합니다. 같은 블로그의 2022년 후속 게시물은 이 프로젝트의 연구가 원래의 영어 작업에 추가로 4개의 추가 언어(프랑스어, 힌디어, 일본어, 스페인어)로 확장되었다고 발표했으며, 더 광범위한 노력이 Project Relate로 성장했다고 말합니다. 이는 별도의 2021년 11월 Google 블로그 게시물에서 Android 앱으로 설명되며, 당시 폐쇄 베타로 출시되었으며, 사용자의 개별 음성 패턴을 학습하고 개인화된 인식 모델을 구축하도록 설계되었습니다.

기술이 여전히 실패하는 곳: '할루시네이션'

자동 전사는 단순히 느리거나 가끔 틀린 것이 아니라, 연구자들은 모델이 말해지지 않은 내용을 발명하는 경우를 문서화했으며, 이 실패 모드는 일반적으로 할루시네이션이라고 불립니다. Fortune이 2024년 10월 26일에 발행한 보도는 Cornell University의 Allison Koenecke와 University of Virginia의 Mona Sloane 연구자들을 인용하며, 그들은 Whisper 전사에서 확인한 할루시네이션 중 거의 40%가 연구자들이 해롭거나 우려된다고 분류한 내용을 포함하고 있음을 발견했으며, 이는 위조된 폭력적 진술 및 원본 오디오에 없던 만들어진 인종적 논평을 포함합니다. 같은 보도는 Nabla라는 회사의 Whisper 기반 전사가 이미 40개의 의료 시스템에 걸쳐 30,000명 이상의 임상의에 의해 사용되고 있었으며, 그 시점까지 약 700만 건의 의료 방문이 전사되었다고 말했으나, OpenAI는 전사 오류가 의사 결정에 영향을 미칠 수 있는 '고위험 영역'에서 Whisper를 사용하지 않도록 경고했습니다.

사람들이 매일 이것을 마주치는 곳

• 스마트폰 키보드: 온디바이스 음성 인식(예: Gboard의 오프라인 인식기)은 오디오를 서버로 보내지 않고 음성을 입력된 텍스트로 변환합니다.
• 스마트 스피커 및 음성 어시스턴트: 클라우드 기반 또는 하이브리드 모델이 음성 명령을 해석합니다.
• 접근성 도구: Project Relate과 같은 개인화된 모델에 기반한 앱이 비정형 음성 패턴을 가진 사람들을 위한 음성 전사를 돕습니다.
• 의료 및 전문 전사: Whisper 기반 상용 제품이 상담 및 회의를 전사하며, 이 사용 사례는 현재 할루시네이션 율에 대한 정밀 조사에 직면해 있습니다.