Konuşma Tanıma ve Sesten Metne Yapay Zeka Gerçekte Nasıl Çalışır

Bir telefon sesli mesajı yazıya döktüğünde, akıllı bir hoparlör sözlü bir soruyu yanıtladığında veya bir altyazı uygulaması canlı altyazı gösterdiğinde, arka planda aynı temel iş akışı çalışır: ses görsel bir desene dönüştürülür ve bir sinir ağı bu deseni okuyarak kelimeleri tahmin eder. Bu açıklayıcı yazı, bu iş akışının nasıl çalıştığını, hangi sistemlerin yaygın olarak kullanıldığını ve teknolojinin hâlâ nerelerde hata yaptığını ele alıyor.

Ses dalgasından spektrograma

Sesten metne sistemleri ham sesi doğrudan okumaz. OpenAI'nin Whisper modeline dair arXiv'de yayımlanan teknik makalesine göre, herhangi bir yazıya dökme işlemi gerçekleşmeden önce ses, bir sinir ağının verimli bir şekilde işleyebileceği bir forma dönüştürülür. OpenAI tarafından GitHub'da yayımlanan Whisper geliştirici belgeleri, modeli çok dilli yazıya dökme, İngilizceye çeviri, konuşulan dilin tanımlanması ve ses etkinliği tespiti gibi işlevleri -ayrı ayrı aşamalar yerine tek bir model üzerinden- yerine getiren 'genel amaçlı bir konuşma tanıma modeli' olarak tanımlıyor.

Modern sistemler arasında ortak teknik, sesi bir mel spektrogramına dönüştürmektir: bu, kaydın her anında hangi frekansların bulunduğunu gösteren ve insan kulağının perdeyi algılama biçimine yaklaşık olarak uyacak şekilde ölçeklendirilmiş bir grafiktir. Sinir ağına verilen şey, ham dalga formu değil, bu görüntü benzeri temsildir.

İki farklı yaklaşım: bulut ölçeğinde ve cihaz üzerinde

Tüm konuşma tanıyıcıları aynı şekilde inşa edilmez ve bu farklar, sistemlerin nasıl ve nerede çalışabildiği açısından önem taşır.

'Robust Speech Recognition via Large-Scale Weak Supervision' başlıklı arXiv makalesinde tanımlanan OpenAI'nin Whisper'ı, internetten toplanan 680.000 saatlik çok dilli ve çok görevli ses verisiyle eğitildi; bu eğitimde, GPT gibi metin üretim modellerinin arkasındaki mimariye benzer bir kodlayıcı-kod çözücü (encoder-decoder) transformer mimarisi kullanıldı. Kodlayıcı spektrogramı işler; kod çözücü ise metin jetonlarını birer birer tahmin eder. Makalenin yazarları, ortaya çıkan modellerin sıfır atımlı (zero-shot) ortamlarda -yani bu belirli kıyaslama testlerine özel olarak ince ayar yapılmadan- 'standart kıyaslama testlerine iyi bir şekilde genelleştiğini' ve 'insanlarla karşılaştırıldığında, modellerin onların doğruluk ve sağlamlığına yaklaştığını' bildiriyor.

Google'ın Gboard klavyesi için geliştirdiği cihaz üzerinde çalışan tanıyıcısını ise farklı bir tasarım hedefi şekillendirdi; bu sistem, Google Research blogunda 12 Mart 2019 tarihli bir yazıda anlatılıyor. Uzak sunucularda çalışan büyük bir model yerine Google, 'tamamen sinirsel, cihaz üzerinde çalışan bir konuşma tanıyıcı' olarak adlandırdığı ve RNN dönüştürücü (RNN-T) denen bir teknik kullanan bir sistem geliştirdi. Sistem, parametre niceleme (quantization) uygulanarak yaklaşık 80 megabayta kadar sıkıştırılıyor -ki bu, Google'ın geleneksel üretim modellerinde kullanılan arama grafiğinin neredeyse 2 gigabaytlık boyutuyla kıyaslanıyor; yazıya göre bu teknik, eğitilmiş kayan noktalı (floating-point) sürüme (sıkıştırma öncesi yaklaşık 450 megabayt) kıyasla yaklaşık dört kat azalma sağladı. Tüm model telefona sığdığı için Google, bu sistemin 'geleneksel sunucu tabanlı modellerle aynı doğruluğu sunduğunu' belirtirken, uzak bir sunucuya ses göndermekten kaynaklanan gecikme veya kesintiler olmadan 'çevrimdışıyken bile' çalıştığını söyledi.

Bunun erişilebilirlik açısından önemi

Konuşma tanıma, yalnızca eğitimde yeterince örneğini gördüğü konuşma kalıpları için iyi çalışır. Google'ın sosyal fayda odaklı yapay zeka ekibi, Project Euphonia'yı 7 Mayıs 2019 tarihli bir blog yazısıyla başlattı ve standart modellerin, yazının 'tipik' olarak adlandırdığı büyük hacimli konuşma verilerinden oluşturulduğunu, bu nedenle yazının inme, ALS, çoklu skleroz, travmatik beyin hasarı ve Parkinson olarak saydığı rahatsızlıklar nedeniyle konuşması değişmiş kişiler için zayıf performans gösterdiğini belirtti; projeyle birlikte çalışan bir ALS savunuculuk grubu olan Team Gleason ise ayrıca bu teknolojinin kullanımını zorlaştırabilecek durumlar arasında serebral palsiyi de sayıyor. Proje, atipik konuşmaya sahip gönüllülerden ifadeler kaydetmelerini istiyor; böylece araştırmacılar daha kapsayıcı modeller geliştirebiliyor. Aynı blogda yayımlanan 2022 tarihli bir takip yazısı, projenin araştırmasının özgün İngilizce dilindeki çalışmasına ek olarak Fransızca, Hintçe, Japonca ve İspanyolca olmak üzere dört dile daha genişlediğini duyurdu ve daha geniş çaplı çalışmanın, Kasım 2021 tarihli ayrı bir Google blog yazısında tanımlanan Project Relate'e dönüştüğünü belirtti; bu proje, o dönemde kapalı beta aşamasında kullanıma sunulan ve kullanıcının bireysel konuşma kalıplarını öğrenerek kişiselleştirilmiş bir tanıma modeli oluşturmak üzere tasarlanmış bir Android uygulaması olarak tanımlanıyor.

Teknolojinin hâlâ başarısız olduğu nokta: 'halüsinasyonlar'

Otomatik yazıya dökme sadece yavaş veya ara sıra hatalı değildir -araştırmacılar, modellerin hiç söylenmemiş içerikler uydurduğu vakaları belgeledi; genel olarak halüsinasyon adı verilen bir hata türü bu. 26 Ekim 2024'te yayımlanan Fortune haberi, Cornell Üniversitesi'nden Allison Koenecke ve Virginia Üniversitesi'nden Mona Sloane'un araştırmasına atıfta bulundu; araştırmacılar, Whisper transkriptlerinde tespit ettikleri halüsinasyonların yaklaşık yüzde 40'ının zararlı veya endişe verici olarak sınıflandırdıkları içerikler barındırdığını, bunlar arasında orijinal seste bulunmayan uydurma şiddet içerikli ifadeler ve uydurma ırkçı yorumlar olduğunu tespit etti. Aynı haberde, OpenAI'nin Whisper'ın karar süreçlerini etkileyebilecek yazıya dökme hatalarının söz konusu olduğu 'yüksek riskli alanlarda' kullanılmaması konusunda uyarıda bulunmasına rağmen, Nabla adlı bir şirketin Whisper tabanlı yazıya dökme hizmetinin 40 sağlık sisteminde 30.000'den fazla klinisyen tarafından zaten kullanılmakta olduğu ve o zamana kadar yaklaşık 7 milyon tıbbi muayenenin yazıya döküldüğü belirtildi.

İnsanların bu teknolojiyle günlük olarak karşılaştığı yerler

• Telefon klavyeleri: cihaz üzerinde dikte (örn. Gboard'ın çevrimdışı tanıyıcısı), sesi herhangi bir sunucuya ses göndermeden yazılı metne dönüştürür.
• Akıllı hoparlörler ve sesli asistanlar: bulut tabanlı veya hibrit modeller sözlü komutları yorumlar.
• Erişilebilirlik araçları: Project Relate gibi kişiselleştirilmiş modeller üzerine inşa edilen uygulamalar, atipik konuşma kalıplarına sahip kişiler için konuşmayı yazıya dökmeye yardımcı olur.
• Tıbbi ve profesyonel yazıya dökme: Whisper tabanlı ticari ürünler konsültasyonları ve toplantıları yazıya döküyor; bu kullanım alanı şimdi halüsinasyon oranları nedeniyle incelemeyle karşı karşıya.