भाषण पहचान और वॉइस-टू-टेक्स्ट AI वास्तव में कैसे काम करता है

हर बार जब कोई फोन voicemail को ट्रांसक्राइब करता है, एक स्मार्ट स्पीकर बोले गए सवाल का जवाब देता है, या एक कैप्शनिंग ऐप लाइव subtitles दिखाता है, वही मूल pipeline पृष्ठभूमि में चलती है: ध्वनि को एक दृश्य पैटर्न में परिवर्तित किया जाता है, और एक तंत्रिका नेटवर्क उस पैटर्न को पढ़ता है शब्दों का अनुमान लगाने के लिए। यह व्याख्या उस pipeline को तोड़ती है कि वह कैसे काम करता है, कौन सी प्रणालियाँ व्यापक उपयोग में हैं, और जहां प्रौद्योगिकी अभी भी गलतियाँ करती है।

ध्वनि तरंग से spectrogram तक

भाषण-से-पाठ प्रणालियाँ कच्चे ऑडियो को सीधे नहीं पढ़तीं। OpenAI के Whisper मॉडल के लिए अपने तकनीकी पेपर के अनुसार, जो arXiv पर पोस्ट किया गया था, ऑडियो को पहले एक ऐसे रूप में परिवर्तित किया जाता है जिसे एक तंत्रिका नेटवर्क कुशलतापूर्वक संसाधित कर सकता है किसी भी ट्रांसक्रिप्शन से पहले। Whisper के लिए Developer documentation, GitHub पर OpenAI द्वारा प्रकाशित, मॉडल को 'एक सामान्य-उद्देश्य भाषण recognition मॉडल' के रूप में वर्णित ��रता है जो multilingual transcription, अंग्रेजी में अनुवाद, spoken-language identification और voice activity detection को संभालता है — यह सब एक मॉडल के माध्यम से बजाय कई अलग चरणों के।

आधुनिक प्रणालियों में सामान्य तकनीक ऑडियो को एक mel spectrogram में बदलना है: एक चार्ट जो दिखाता है कि रिकॉर्डिंग में प्रत्येक क्षण कौन सी frequencies मौजूद हैं, मानव कान pitch को कैसे समझता है इसके अनुरूप मापा गया। यह image-like प्रतिनिधित्व, कच्चे waveform के बजाय, वह है जो तंत्रिका नेटवर्क में खिलाया जाता है।

दो अलग दृष्टिकोण: cloud-scale और on-device

सभी भाषण recognizers एक जैसे नहीं बनाए जाते हैं, और अंतर इस बात के लिए महत्वपूर्ण हैं कि वे कैसे और कहां चल सकते हैं।

OpenAI की Whisper, arXiv पेपर 'Robust Speech Recognition via Large-Scale Weak Supervision' में वर्णित, 680,000 घंटे की multilingual और multitask ऑडियो पर प्रशिक्षित था जो इंटरनेट से एकत्र की गई थी, GPT जैसे text-generation मॉडल के पीछे एक encoder-decoder transformer architecture समान का उपयोग करते हुए। Encoder spectrogram को संसाधित करता है; decoder फिर एक बार में एक text token की भविष्यवाणी करता है। पेपर के लेखक रिपोर्ट करते हैं कि परिणामी मॉडल 'zero-shot सेटिंग्स में मानक benchmarks के लिए अच्छी तरह से सामान्यीकृत होते हैं', अर्थ उन विशिष्ट benchmarks पर fine-tuned किए बिना, और कि 'मनुष्यों की तुलना में, मॉडल उनकी सटीकता और मजबूती के पास पहुंचते हैं।'

एक अलग डिजाइन लक्ष्य ने Google के Gboard कीबोर्ड के लिए on-device recognizer को आकार दिया, जो 12 मार्च 2019 को Google Research ब्लॉग पर एक पोस्ट में वर्णित है। बड़े मॉडल के बजाय दूर के सर्वर पर चलने वाले, Google ने जिसे इसने 'all-neural, on-device speech recognizer' कहा, एक तकनीक का उपयोग करके निर्मित किया जिसे RNN transducer (RNN-T) कहा जाता है। सिस्टम लगभग 80 megabytes तक सिकुड़ जाता है — Google की traditional production मॉडल्स द्वारा उपयोग किए गए search graph के लिए लगभग 2 gigabytes की तुलना में — parameter quantization लागू करके, एक तकनीक जो पोस्ट कहती है कि प्रशिक्षित floating-point version की तुलना में मोटे तौर पर चार गुना reduction दी है (compression से पहले लगभग 450 megabytes)। क्योंकि पूरा मॉडल फोन पर फिट हो जाता है, Google ने कहा कि यह 'traditional server-based मॉडल्स के समान सटीकता प्रदान करता है' जबकि 'यहां तक कि जब आप ऑफलाइन हों' काम करता है, दूर के सर्वर को ऑडियो भेजने से आने वाली देरी या व्यवधान से बचते हुए।

यह accessibility के लिए क्यों महत्वपूर्ण है

भाषण recognition केवल भाषण पैटर्न के लिए अच्छी तरह काम करता है जिसे यह प्रशिक्षण में पर्याप्त मात्रा में देख चुका है। Google की AI-for-social-good टीम ने Project Euphonia को 7 मई 2019 की ब्लॉग पोस्ट में लॉन्च किया, यह कहते हुए कि मानक मॉडल जिसे पोस्ट 'typical' भाषण कहती है उसकी बड़ी मात्रा से बनाए जाते हैं और इसलिए उन लोगों के लिए खराब प्रदर्शन करते हैं जिनका भाषण ऐसी स्थितियों द्वारा बदल दिया जाता है जिनका यह पोस्ट stroke, ALS, multiple sclerosis, traumatic brain injury और Parkinson's नाम रखता है; Team Gleason, एक ALS advocacy group जो प्रोजेक्ट के साथ काम कर चुकी है, अलग से cerebral palsy को उन स्थितियों में सूचीबद्ध करती है जो इस तकनीक को उपयोग करना कठिन बना सकती हैं। प्रोजेक्ट atypical भाषण वाले volunteers से वाक्यांशों को रिकॉर्ड करने के लिए कहता है ताकि शोधकर्ता अधिक inclusive मॉडल बना सकें। 2022 की एक follow-up पोस्ट उसी ब्लॉग पर घोषणा की कि प्रोजेक्ट की research चार अधिक भाषाओं में विस्तार कर रही थी — French, Hindi, Japanese और Spanish — अपने original English-language काम के अलावा, और कहा कि व्यापक प्रयास Project Relate में बढ़ गया था, जो एक अलग नवंबर 2021 Google ब्लॉग पोस्ट में एक Android ऐप के रूप में वर्णित है, उस समय closed beta में लॉन्च किया गया, जो किसी उपयोगकर्ता के व्यक्तिगत भाषण पैटर्न को सीखने और एक personalized recognition मॉडल बनाने के लिए डिज़ाइन किया गया।

जहां प्रौद्योगिकी अभी भी विफल हो जाती है: 'hallucinations'

स्वचालित transcription सीधे धीमा या कभी-कभी गलत नहीं है — शोधकर्ताओं ने उन मामलों को दस्तावेज किया है जहां मॉडल ऐसी सामग्री गढ़ते हैं जो कभी नहीं बोली गई, एक failure mode जिसे आमतौर पर hallucination कहा जाता है। Fortune द्वारा रिपोर्टिंग, 26 अक्तूबर 2024 को प्रकाशित, Cornell University की Allison Koenecke और University of Virginia की Mona Sloane के शोधकर्ताओं का हवाला देता है, जो पाया कि Whisper transcripts में जो hallucinations उन्होंने पहचाने, लगभग 40% में ऐसी सामग्री शामिल थी जिसे शोधकर्ताओं ने harmful या concerning के रूप में वर्गीकृत किया, जिसमें गढ़े गए violent statements और ईजाद की गई racial commentary शामिल थी जो मूल ऑडियो में मौजूद नहीं थी। एक ही रिपोर्ट ने कहा कि Whisper-based transcription एक कंपनी Nabla से पहले से 30,000 से अधिक clinicians द्वारा 40 स्वास्थ्य systems में उपयोग में था, लगभग 7 million चिकित्सा visits उस बिंदु पर ट्रांसक्राइब किए गए थे, भले ही OpenAI ने Whisper का उपयोग 'high-risk domains' में करने सावधान किया था जहां transcription त्रुटियां निर्णयों को प्रभावित कर सकती हैं।

जहां लोग इसका सामना करते हैं

• फोन कीबोर्ड: on-device dictation (उदाहरण के लिए, Gboard का offline recognizer) भाषण को typed text में बदलता है बिना ऑडियो को किसी सर्वर को भेजे।
• स्मार्ट स्पीकर और voice assistants: cloud-based या hybrid मॉडल spoken commands की व्याख्या करते हैं।
• Accessibility tools: ऐप्स जो personalized मॉडल पर बनाए गए हैं, जैसे Project Relate, atypical भाषण पैटर्न वाले लोगों के लिए भाषण को ट्रांसक्राइब करने में सहायता करते हैं।
• Medical और professional transcription: Whisper-based commercial products consultations और meetings को ट्रांसक्राइब करते हैं, एक use case जो अब hallucination दरों पर scrutiny का सामना कर रहा है।