Bagaimana Pengenalan Ucapan dan AI Voice-to-Text Benar-benar Bekerja

Setiap kali ponsel mentranskripsikan voicemail, speaker pintar menjawab pertanyaan yang diucapkan, atau aplikasi captioning menampilkan subtitle langsung, pipeline dasar yang sama berjalan di latar belakang: suara dikonversi menjadi pola visual, dan jaringan saraf membaca pola tersebut untuk menebak kata-kata. Penjelasan ini merinci cara kerja pipeline tersebut, sistem mana yang banyak digunakan, dan di mana teknologi masih membuat kesalahan.

Dari gelombang suara ke spectrogram

Sistem speech-to-text tidak membaca audio mentah secara langsung. Menurut makalah teknis OpenAI untuk model Whisper, yang diposting di arXiv, audio terlebih dahulu dikonversi ke bentuk yang dapat diproses jaringan saraf secara efisien sebelum transkripsi apa pun terjadi. Dokumentasi pengembang untuk Whisper, dipublikasikan di GitHub oleh OpenAI, mendeskripsikan model sebagai 'model pengenalan ucapan tujuan umum' yang menangani transkripsi multibahasa, penerjemahan ke dalam bahasa Inggris, identifikasi bahasa yang diucapkan dan deteksi aktivitas suara — semuanya melalui satu model daripada beberapa tahap terpisah.

Teknik umum di seluruh sistem modern adalah mengubah audio menjadi mel spectrogram: bagan yang menunjukkan frekuensi mana yang ada pada setiap momen dalam rekaman, diskalakan untuk kurang lebih cocok dengan cara telinga manusia mempersepsikan pitch. Representasi seperti gambar itu, bukan gelombang bruto, adalah apa yang dimasukkan ke dalam jaringan saraf.

Dua pendekatan berbeda: skala cloud dan on-device

Tidak semua pengenal ucapan dibangun dengan cara yang sama, dan perbedaannya penting untuk bagaimana dan di mana mereka dapat berjalan.

Whisper OpenAI, dijelaskan dalam makalah arXiv 'Robust Speech Recognition via Large-Scale Weak Supervision,' dilatih pada 680.000 jam audio multibahasa dan multitask yang dikumpulkan dari internet, menggunakan arsitektur encoder-decoder transformer yang mirip dengan yang di balik model generasi teks seperti GPT. Encoder memproses spectrogram; decoder kemudian memprediksi token teks satu per satu. Penulis makalah melaporkan bahwa model yang dihasilkan 'menggeneralisasi dengan baik ke benchmark standar' dalam pengaturan zero-shot, artinya tanpa fine-tuned pada benchmark spesifik tersebut, dan bahwa 'ketika dibandingkan dengan manusia, model mendekati akurasi dan ketangguhan mereka.'

Tujuan desain yang berbeda membentuk pengenal on-device Google untuk keyboard Gboard, dijelaskan dalam posting Google Research blog tanggal 12 Maret 2019. Alih-alih model besar yang berjalan di server jarak jauh, Google membangun apa yang disebut 'pengenal ucapan on-device semua-neural' menggunakan teknik yang disebut RNN transducer (RNN-T). Sistem dikompres menjadi sekitar 80 megabyte — versus hampir 2 gigabyte untuk grafik pencarian yang digunakan oleh model produksi tradisional Google — dengan menerapkan quantization parameter, teknik yang posting katakan memberikan pengurangan kira-kira empat kali lipat dibandingkan dengan versi floating-point yang dilatih (sekitar 450 megabyte sebelum kompresi). Karena seluruh model pas di ponsel, Google mengatakan itu 'menawarkan akurasi yang sama seperti model berbasis server tradisional' sambil bekerja 'bahkan ketika Anda offline,' menghindari keterlambatan atau gangguan yang datang dari mengirim audio ke server jarak jauh.

Mengapa ini penting untuk aksesibilitas

Pengenalan ucapan hanya berfungsi dengan baik untuk pola ucapan yang cukup dilihatnya dalam pelatihan. Tim AI-for-social-good Google meluncurkan Project Euphonia dalam posting blog 7 Mei 2019, mengatakan model standar dibangun dari volume besar apa yang posting sebut ucapan 'typical' dan oleh karena itu berkinerja buruk untuk orang-orang yang ucapannya diubah oleh kondisi posting nama sebagai stroke, ALS, multiple sclerosis, traumatic brain injury dan Parkinson's; Team Gleason, kelompok advokasi ALS yang telah bekerja dengan proyek tersebut, secara terpisah mencantumkan cerebral palsy di antara kondisi yang dapat membuat teknologi ini lebih sulit digunakan. Proyek ini meminta sukarelawan dengan ucapan atipikal untuk merekam frasa sehingga peneliti dapat membangun model yang lebih inklusif. Posting follow-up 2022 di blog yang sama mengumumkan penelitian proyek berkembang ke empat bahasa tambahan — French, Hindi, Japanese dan Spanish — sebagai tambahan dari pekerjaan bahasa Inggris aslinya, dan mengatakan upaya yang lebih luas telah berkembang menjadi Project Relate, dijelaskan dalam posting blog Google November 2021 yang terpisah sebagai aplikasi Android, diluncurkan pada saat itu dalam closed beta, dirancang untuk mempelajari pola ucapan individual pengguna dan membangun model pengenalan yang dipersonalisasi.

Di mana teknologi masih gagal: 'hallucinations'

Transkripsi otomatis tidak hanya lambat atau sesekali salah — peneliti telah mendokumentasikan kasus di mana model mengarang konten yang tidak pernah diucapkan, mode kegagalan yang umumnya disebut hallucination. Pelaporan oleh Fortune, diterbitkan 26 Oktober 2024, mengutip peneliti Allison Koenecke dari Cornell University dan Mona Sloane dari University of Virginia, yang menemukan bahwa dari hallucination yang mereka identifikasi dalam transkrip Whisper, hampir 40% berisi konten yang peneliti klasifikasikan sebagai berbahaya atau mencemaskan, termasuk pernyataan kekerasan yang dibuat-buat dan komentar rasial yang diinventarisasi yang tidak ada dalam audio asli. Laporan yang sama mengatakan transkripsi berbasis Whisper dari perusahaan yang disebut Nabla sudah digunakan oleh lebih dari 30.000 clinician di 40 sistem kesehatan, dengan kira-kira 7 juta kunjungan medis yang ditranskripsikan pada saat itu, meskipun OpenAI telah memperingatkan terhadap penggunaan Whisper dalam 'domain berisiko tinggi' di mana kesalahan transkripsi dapat mempengaruhi keputusan.

Di mana orang menghadapi ini setiap hari

• Keyboard ponsel: dictation on-device (misalnya, pengenal offline Gboard) mengkonversi ucapan menjadi teks yang diketik tanpa mengirim audio ke server.
• Speaker pintar dan voice assistant: model berbasis cloud atau hybrid menginterpretasikan perintah yang diucapkan.
• Alat aksesibilitas: aplikasi yang dibangun di atas model yang dipersonalisasi, seperti Project Relate, membantu mentranskripsikan ucapan untuk orang-orang dengan pola ucapan atipikal.
• Transkripsi medis dan profesional: produk komersial berbasis Whisper mentranskripsikan konsultasi dan rapat, use case yang sekarang menghadapi pengawasan atas tingkat hallucination.