تقریر کی شناخت اور وائس ٹو ٹیکسٹ AI اصل میں کیسے کام کرتا ہے

ہر بار جب کوئی فون voicemail کو transcribe کرتا ہے، ایک سمارٹ اسپیکر بولے گئے سوال کا جواب دیتا ہے، یا ایک captioning app لائیو subtitles دکھاتا ہے، اسی طرح کا بنیادی pipeline پس منظر میں چلتا ہے: صوت کو ایک بصری نمونے میں تبدیل کیا جاتا ہے، اور ایک نیورل نیٹ ورک اس نمونے کو پڑھتا ہے تاکہ الفاظ کا اندازہ لگایا جا سکے۔ یہ وضاحت اس pipeline کی تشریح کرتی ہے کہ وہ کیسے کام کرتا ہے، کون سے نظام وسیع استعمال میں ہیں، اور جہاں یہ تکنیک ابھی بھی غلطیاں کرتی ہے۔

صوتی لہر سے spectrogram تک

Speech-to-text نظام براہ راست raw audio نہیں پڑھتے۔ OpenAI کے Whisper ماڈل کے لیے اپنے تکنیکی مقالے کے مطابق، جو arXiv پر شائع ہوا ہے، audio کو پہلے ایک ایسی شکل میں تبدیل کیا جاتا ہے جسے نیورال نیٹ ورک موثر طریقے سے سنبھال سکتے ہیں پھر کوئی بھی transcription واقع ہونے سے پہلے۔ Whisper کے لیے ڈیولپر ڈاکومنٹیشن، جو OpenAI کی طرف سے GitHub پر شائع ہوا ہے، ماڈل کو 'ایک عام مقصد کے لیے speech recognition ماڈل' کے طور پر بیان کرتی ہے جو multilingual transcription، انگریزی میں ترجمہ، spoken-language identification اور voice activity detection کو سنبھالتا ہے — یہ سب ایک ماڈل کے ذریعے بجائے کچھ الگ مراحل کے۔

جدید نظاموں میں عام تکنیک audio کو ایک mel spectrogram میں تبدیل کرنا ہے: ایک chart جو دکھاتا ہے کہ ریکارڈنگ میں ہر لمحے کون سی frequencies موجود ہیں، ایسے پیمانے پر جو تقریباً اس طرح ہے جیسے انسانی کان pitch کو محسوس کرتے ہیں۔ یہ تصویر جیسی نمائندگی، بجائے raw waveform کے، وہ ہے جو نیورل نیٹ ورک میں ڈالی جاتی ہے۔

دو مختلف نقطہ نظر: cloud-scale اور on-device

تمام speech recognizers ایک جیسے طریقے سے نہیں بنائے جاتے، اور فرق اس بات کے لیے اہم ہے کہ وہ کہاں اور کیسے چل سکتے ہیں۔

OpenAI کی Whisper، arXiv مقالہ 'Robust Speech Recognition via Large-Scale Weak Supervision' میں بیان کی گئی، 680,000 گھنٹے کے multilingual اور multitask audio پر تربیت دی گئی تھی جو انٹرنیٹ سے جمع کیا گیا تھا، ایک encoder-decoder transformer architecture استعمال کرتے ہوئے جو GPT جیسے text-generation models کے پیچھے ہے۔ Encoder spectrogram کو سنبھالتا ہے؛ decoder پھر ایک وقت میں ایک text token کی پیش گوئی کرتا ہے۔ مقالہ کے مصنفین رپورٹ کرتے ہیں کہ نتیجے میں ماڈل 'zero-shot settings میں معیاری benchmarks کے لیے اچھی طرح سے عام ہوتے ہیں'، یعنی ان مخصوص benchmarks پر fine-tuned کیے بغیر، اور یہ کہ 'جب انسانوں کے ساتھ موازنہ کیا جائے، تو ماڈل ان کی درستگی اور مضبوطی تک پہنچتے ہیں۔'

ایک مختلف ڈیزائن مقصد نے Google کے Gboard keyboard کے لیے on-device recognizer کو شکل دی، جو 12 مارچ 2019 کو Google Research بلاگ پر ایک پوسٹ میں بیان کیا گیا۔ بڑے ماڈل کے بجائے جو دور کے سرورز پر چلتا ہے، Google نے جس کو اس نے 'all-neural, on-device speech recognizer' کہا، ایک تکنیک استعمال کرتے ہوئے بنایا جسے RNN transducer (RNN-T) کہا جاتا ہے۔ سسٹم تقریباً 80 megabytes تک کمپریس ہوتا ہے — Google کے روایتی production models کے ذریعے استعمال کیے جانے والے search graph کے لیے تقریباً 2 gigabytes کے مقابلے میں — parameter quantization استعمال کرتے ہوئے، ایک تکنیک جو یہ پوسٹ کہتی ہے کہ تربیت شدہ floating-point version کے مقابلے میں تقریباً چوگنی کمی دی ہے (compression سے پہلے تقریباً 450 megabytes)۔ کیونکہ پورا ماڈل فون پر فٹ بیٹھتا ہے، Google نے کہا کہ یہ 'روایتی server-based models جیسی ہی درستگی فراہم کرتا ہے' جبکہ 'یہاں تک کہ جب آپ آف لائن ہوں' کام کرتا ہے، دور کے سرور کو audio بھیجنے سے آنے والے تاخیر یا رکاوٹوں سے بچتے ہوئے۔

یہ accessibility کے لیے کیوں اہم ہے

Speech recognition صرف اس لیے اچھی طرح کام کرتا ہے جب یہ speech patterns ہوں جو اس نے تربیت میں کافی دیکھا ہو۔ Google کی AI-for-social-good ٹیم نے Project Euphonia کو 7 مئی 2019 کی بلاگ پوسٹ میں شروع کیا، کہتے ہوئے کہ معیاری ماڈل جو یہ پوسٹ 'typical' speech کہتے ہیں اس کی بڑی مقدار سے بنائے جاتے ہیں اور اس لیے ان لوگوں کے لیے خراب کارکردگی دیتے ہیں جن کی speech کو ایسی حالتوں سے تبدیل کیا جاتا ہے جو یہ پوسٹ stroke، ALS، multiple sclerosis، traumatic brain injury اور Parkinson's کے نام بتاتی ہے؛ Team Gleason، ایک ALS advocacy group جو اس project کے ساتھ کام کر چکی ہے، الگ سے cerebral palsy کو ان حالتوں میں درج کرتی ہے جو اس تکنیک کو استعمال کرنا مشکل بنا سکتی ہیں۔ یہ project volunteer لوگوں سے غیر معمولی speech کے فقرے ریکارڈ کرنے کو کہتا ہے تاکہ محققین زیادہ inclusive ماڈل بنا سکیں۔ 2022 کی ایک follow-up پوسٹ اسی بلاگ پر اعلان کیا کہ اس project کی تحقیق چار مزید languages میں پھیل رہی تھی — French، Hindi، Japanese اور Spanish — اپنے اصل English-language کام کے علاوہ، اور کہا کہ بڑی کوشش Project Relate میں بڑھ گئی تھی، جو ایک الگ نومبر 2021 Google بلاگ پوسٹ میں بیان کیا گیا ہے جیسے ایک Android app، اس وقت بند beta میں شروع کیا گیا، جو کسی صارف کے انفرادی speech patterns کو سیکھنے اور ایک personalized recognition ماڈل بنانے کے لیے ڈیزائن کیا گیا۔

جہاں تکنیک ابھی بھی ناکام ہوتی ہے: 'hallucinations'

خودکار transcription محض سست یا بعض اوقات غلط نہیں ہے — محققین نے ایسے معاملات دستاویز کیے ہیں جہاں ماڈل وہ مواد گھڑتے ہیں جو کبھی بولا نہیں گیا، ایک failure mode جو عام طور پر hallucination کہلاتا ہے۔ Fortune کی رپورٹنگ، 26 اکتوبر 2024 کو شائع، محققین Allison Koenecke of Cornell University اور Mona Sloane of the University of Virginia کے حوالے سے، جو نے یہ محسوس کیا کہ Whisper transcripts میں جو hallucinations انہوں نے شناخت کی، تقریباً 40% میں ایسا مواد تھا جو محققین نے harmful یا concerning کے طور پر درجہ بندی کیا، جس میں گھڑے ہوئے violent statements اور ایجاد شدہ racial commentary شامل تھا جو اصل audio میں موجود نہ تھی۔ اسی رپورٹ میں کہا گیا کہ Whisper-based transcription ایک کمپنی Nabla کی طرف سے پہلے سے 30,000 سے زیادہ clinicians کے ذریعے 40 health systems میں استعمال میں تھا، تقریباً 7 million medical visits اس نقطے پر transcribed تھے، اگرچہ OpenAI نے Whisper کو 'high-risk domains' میں استعمال کرنے سے خبردار کیا تھا جہاں transcription errors فیصلوں کو متاثر کر سکتے ہیں۔

جہاں لوگ اس کا روزانہ سامنا کرتے ہیں

• فون کی بورڈز: on-device dictation (مثال کے طور پر، Gboard کا offline recognizer) speech کو typed text میں تبدیل کرتا ہے بغیر audio کو کسی سرور کو بھیجے۔
• سمارٹ اسپیکرز اور voice assistants: cloud-based یا hybrid ماڈل بولے گئے commands کی تشریح کرتے ہیں۔
• Accessibility tools: apps جو personalized ماڈل پر بنائے گئے ہیں، جیسے Project Relate، atypical speech patterns کے ساتھ لوگوں کے لیے speech transcribe کرنے میں مدد کرتے ہیں۔
• Medical اور professional transcription: Whisper-based تجارتی مصنوعات consultations اور meetings کو transcribe کرتے ہیں، ایک use case جو hallucination rates پر توجہ کا سامنا کر رہا ہے۔