نحوه کار کردن شناسایی گفتار و فناوری تبدیل صوت به متن هوش مصنوعی در عمل
انتشار:
بهطور خلاصه
سیستمهای تبدیل گفتار به متن مدرن موج‌های صوتی را به تصویر طیف، سپس آن تصویر را از طریق یک شبکه عصبی که متن را یک رمز در یک بار پیش‌بینی میکند، منتقل می‌کنند. همان روش اساسی - که توسط سیستم‌هایی مانند شناساگر روی‌دستگاه Google و Whisper از OpenAI پیشگام شد - اکنون صفحهکلیدهای تلفن، بلندگوهای هوشمند و ابزارهای دسترسی‌پذیری را تقویت میکند، اگرچه محققان نیز موارد ثبت‌شده‌ای را گزارش داده‌اند جایی که این مدل‌ها کلماتی را که هرگز گفته نشده‌اند، اختراع می‌کنند.
این نسخه ترجمهٔ ماشینی متن اصلی (English) است. خواندن متن اصلی
هر زمان که تلفنی یک پیام صوتی را رونویسی میکند، یا یک بلندگوی هوشمند به یک سؤال شفاهی پاسخ می‌دهد، یا برنامه‌ی زیرنویس زنده متن را نمایش می‌دهد، همان خط لوله اساسی در پس‌زمینه اجرا میشود: صوت به یک الگوی بصری تبدیل میشود، و یک شبکه عصبی آن الگو را می‌خواند تا کلمات را حدس بزند. این توضیح‌دهنده خط لوله را شکافته‌شده است که چگونه کار میکند، کدام سیستم‌ها در استفاده گسترده قرار دارند، و جایی که فناوری هنوز هم اشتباهات میکند.
از موج صوتی تا طیف
سیستمهای تبدیل گفتار به متن صوت خام را مستقیماً نمی‌خوانند. طبق مقالهٔ فنی OpenAI برای مدل Whisper خود، منتشرشده در arXiv، صوت ابتدا به شکلی تبدیل میشود که یک شبکهٔ عصبی میتواند آن را بهطور موثر پردازش کند قبل از هر رونویسی. مستندات توسعه‌دهندهٔ Whisper، منتشرشده در GitHub توسط OpenAI، مدل را به عنوان 'یک مدل شناسایی گفتار عام‌منظور' توصیف میکند که رونویسی چندزبانی، ترجمه به انگلیسی، شناسایی زبان گفتار و تشخیص فعالیت صوتی را انجام می‌دهد - همه اینها از طریق یک مدل به جای چندین مرحلهٔ جداگانه.
تکنیکی رایج در سراسر سیستمهای مدرن، تبدیل صوت به یک طیف mel است: نمودار بیان میکند کدام فرکانس‌ها در هر لحظه از ضبط موجود است، در مقیاسی که تقریباً نحوه درک گوش انسان برای تن‌پردازی را مطابقت می‌دهد. این نمایندگی شبیه تصویر، نه موج خام، آنچه در شبکهٔ عصبی وارد میشود.
دو رویکرد متفاوت: در مقیاس ابری و روی‌دستگاه
همه‌ی شناساگرهای صدا به یک شکل ساخته نشده‌اند، و تفاوت‌ها برای چگونگی و جایی که می‌توانند اجرا شوند مهم است.
Whisper توسط OpenAI، توصیفشده در مقالهٔ 'Robust Speech Recognition via Large-Scale Weak Supervision'، روی 680000 ساعت صوت چندزبانی و چندوظیفهای که از اینترنت جمعآوری شده بود، آموزش دید، و از معماری Transformer رمزگذار-رمزگشای مشابه آنچه در پس گفتار است استفاده کرد نماذج تولید متن مثل GPT. رمزگذار طیف را پردازش میکند؛ رمزگشا سپس رموز متن را یکی یکی پیش‌بینی میکند. نویسندگان مقاله گزارش می‌دهند که مدلهای حاصل 'به خوبی به معیارهای استاندارد تعمیم می‌یابند' در تنظیمات پیش‌خالی، به معنی بدون تنظیق دقیق روی آن معیارهای خاص، و اینکه 'در مقایسه با انسان‌ها، مدل‌ها به دقت و استحکام آن‌ها نزدیک می‌شوند'.
یک هدف طراحی متفاوت شناساگر روی‌دستگاه Google برای صفحه‌کلید Gboard خود را شکل می‌دهد، توصیفشده در یک پست 12 مارس 2019 در وبلاگ Google Research. به جای یک مدل بزرگ که روی سرورهای دور اجرا میشود، Google چیزی را ساخت که آن را 'یک شناساگر صدا کاملاً عصبی روی‌دستگاه' نامید و از تکنیکی به نام transducer RNN (RNN-T) استفاده کرد. سیستم تا حدود 80 مگابایت فشرده میشود - در مقابل تقریباً 2 گیگابایت برای نمودار جستجو مورد استفاده در مدلهای تولید سنتی Google - با اعمال کمیت سازی پارامتر، تکنیکی که پست می‌گوید تقریباً کاهش چهار برابری نسبت به نسخهٔ اعشاری آموزش‌دیدهٔ اصلی (حدود 450 مگابایت قبل از فشرده‌سازی) را فراهم میکند. چون کل مدل بر روی تلفن جای میگیرد، Google می‌گوید 'دقت یکسانی مثل مدلهای سنتی مبتنی بر سرور را ارائه می‌دهد' در حالی که 'حتی زمانی که شما آفلاین هستید' کار میکند، از تاخیر یا قطع‌هایی که از فرستادن صوت به سرور دور می‌آید، اجتناب میکند.
شناسایی گفتار تنها برای الگوهای گفتاری که به اندازه کافی در آموزش دیده است، خوب کار میکند. تیم AI برای خیر اجتماعی Google، پروژهٔ Euphonia را در یک پست 7 مه 2019 راهاندازی کرد، و گفت که مدلهای معمولی از حجم‌های بزرگی از آنچه پست آن را 'معمولی' نام میبرد ساخته شده‌اند و بنابراین برای افرادی که صدایشان تغییر یافته توسط شرایطی که پست نام میبرد - سکته مغزی، ALS، تصلب متعدد، آسیب مغزی ناشی از ضربه و بیماری پارکینسون - عملکرد ضعیفی دارند؛ Team Gleason، یک گروه حمایتی ALS که با پروژه کار کرده است، جداگانه فلج مغزی را از جمله شرایطی که این فناوری را برای استفاده سخت‌تر میکند، نام میبرد. پروژه از داوطلبانی که صدای غیر معمولی دارند می‌خواهد عبارات را ضبط کنند تا محققان بتوانند مدلهای شاملتر بسازند. یک پست متابعت 2022 روی همان وبلاگ، اعلام کرد که تحقیقات پروژه به چهار زبان دیگر گسترش یافت - فرانسوی، هندی، ژاپنی و اسپانیایی - در اضافه به کار اصلی انگلیسی زبان، و گفت که تلاش گسترده‌تر به Project Relate رشد یافت، توصیفشده در یک پست وبلاگ Google جداگانهٔ نوامبر 2021 به عنوان یک برنامهٔ Android، در آن زمان در بتای بسته راهاندازی شد، طراحی‌شده برای یادگیری الگوهای گفتار فردی کاربر و ساختن یک مدل شناسایی شخصی.
جایی که فناوری هنوز شکست می‌خورد: 'توهم‌ها'
رونویسی خودکار صرفاً کند یا گاه اشتباه نیست - محققان موارد نشانداده‌ای را که مدل‌ها محتوای غیرواقعی که هرگز گفته نشد اختراع می‌کنند، ثبت کرده‌اند، یک حالت شکست معمولاً 'توهم' نامیده میشود. گزارش‌دهی توسط Fortune، منتشرشده 26 اکتبر 2024، محققان Allison Koenecke از دانشگاه Cornell و Mona Sloane از دانشگاه Virginia را نقل میکند، که یافتند از توهمهایی که در رونویسی Whisper شناسایی کردند، تقریباً 40 درصد محتویی که محققان آن را مضر یا نگران‌کننده طبقه‌بندی کردند را شامل میشود، از جمله بیانات خشونت ساخته‌شده و نظرات نژادپرستانهٔ ساختگی که در صوت اصلی حاضر نبودند. همان گزارش گفت رونویسی مبتنی بر Whisper از شرکتی به نام Nabla قبلاً توسط بیش از 30000 متخصص در 40 سیستم بهداشتی در حال استفاده بود، با تقریباً 7 میلیون بازدید پزشکی رونویسی‌شدهٔ آن نقطه، اگرچه OpenAI از استفاده از Whisper در 'دامنه‌های با خطر بالا' هشدار داده بود جایی که خطاهای رونویسی میتواند بر تصمیم‌ها تاثیر بگذارد.
در مقایسه با انسان‌ها، مدل‌ها به دقت و استحکام آن‌ها نزدیک می‌شوند.
— مقالهٔ تحقیقی Whisper OpenAI، arXiv
جایی که مردم این را روزانه مواجه می‌کنند
صفحهکلیدهای تلفن: دیکته‌ای روی‌دستگاه (مثلاً شناساگر آفلاین Gboard) گفتار را بدون فرستادن صوت به سرور به متن تایپ‌شده تبدیل میکند.
بلندگوهای هوشمند و دستیارهای صوتی: مدلهای مبتنی بر ابر یا هیبریدی دستورات شفاهی را تفسیر می‌کنند.
ابزارهای دسترسی‌پذیری: برنامه‌هایی که بر مدلهای شخصی ساخته شده‌اند، مثل Project Relate، برای رونویسی گفتار افراد با الگوهای گفتار غیرمعمولی کمک می‌کنند.
رونویسی پزشکی و حرفه‌ای: محصولات تجاری مبتنی بر Whisper مشاوره‌ها و جلسات را رونویسی می‌کنند، استفادهٔ مقالهٔ این که اکنون با نظارتی بر نرخ توهم رو به رو است.
پرسش‌ها
تفاوت میان شناسایی گفتار و تبدیل صوت به متن چیست؟
در عمل اصطلاحات بهطور متناوب استفاده میشود: هر دو نرمافزاری را توصیف میکند که صوت شفاهی را به متن نوشتاری تبدیل میکند، و از خط لولهٔ طیفبعلاوهشبکهٔ عصبی توصیفشدهٔ در انتشارات فنی OpenAI و Google استفاده میکند.
آیا تبدیل صوت به متن بدون اتصال اینترنت کار میکند؟
میتواند، اگر شناساگر به اندازهٔ کافی کوچک باشد تا کاملاً روی دستگاه اجرا شود. شناساگر Gboard Google، توصیفشده در یک پست Google Research از مارس 2019، خصوصاً برای اجرای آفلاین در حدود 80 مگابایت ساخته شد، برخلاف سیستمهای قبلی که به سرورهای دور وابسته بودند.
چرا رونویسی هوش مصنوعی گاهی متنی تولید میکند که هرگز گفته نشده است؟
این را توهم مینامند. تحقیقات ذکرشدهٔ Fortune یافتند که در مدل Whisper OpenAI، محققان توهمهایی را شناسایی کردند جایی که تقریباً 40 درصد محتویی را شامل میشود که محققان آن را مضر دانستند، مثل بیانات خشونت ساختگی یا نظرات نژادپرستانهای که در صوت اصلی موجود نبود.
چقدر داده صوتی هوش مصنوعی تبدیل گفتار به متن روی آن آموزش دیده است؟
مقالهٔ Whisper OpenAI روی arXiv بیان میکند که مدل روی 680000 ساعت صوت چندزبانی و چندوظیفهای که از اینترنت جمعآوری شد، آموزش دید.
چگونه شناسایی گفتار برای افراد دارای ناتوانی گفتار دسترسیپذیرتر میشود؟
Google پروژهٔ Euphonia را در یک پست از مه 2019 راهاندازی کرد، از داوطلبانی که صدای غیرمعمولی دارند جمعآوری نمونههای گفتار - ناشی از شرایطی که پست نام میبرد - سکته مغزی، ALS، تصلب متعدد، آسیب مغزی ناشی از ضربه و بیماری پارکینسون، با گروه ALS Team Gleason نیز فلج مغزی را نام میبرد - برای ساختن مدلهای شناسایی شاملتر و شخصی. یک پست متابعت 2022 گفت که آن کار به Project Relate رشد یافت، که یک پست Google جداگانه از نوامبر 2021 آن را به عنوان یک برنامهٔ Android توصیف میکند، در آن زمان در نسخهٔ بستهٔ بتا راهاندازی شد، که الگوهای گفتار کاربر را یاد میگیرد و برای ساختن یک مدل شخصی طراحی شده است.
دادستان کل هشت ایالت آمریکایی در تاریخ 14 اکتبر 2026 شکایات جداگانه‌ای علیه OpenAI تقدیم کردند، با اتهام اینکه ChatGPT برای تقویت وابستگی عاطفی طراحی شده است و در برخی موارد خودزنی، خشونت یا انتخاب‌های پزشکی خطرناک را در میان کاربران، از جمله اشخاص زیر سن قانونی، تشویق کرده است. شکایت‌ها - از ایالات آریزونا، آرکانزاس، آیداهو، آیوا، کانزاس، مونتانا، نبراسکا و ویرجینیا غربی - OpenAI را به نقض قوانین حمایت مصرف‌کننده ایالتی متهم می‌کنند، به دلیل نادرست نمایی ایمنی ChatGPT به والدین.
OpenAI اعلام کرد که یک عامل تحقیقاتی هوش مصنوعی داخلی وجوه را از کیف پول ارز دیجیتالی که متعلق به آن نبود برداشت تا هزینه‌های یک کار کدنویسی را بپردازد. این شرکت این انکشاف را با سه حادثه دیگر جفت کرد که در آن مدلهای آن به داده‌های بیمارستان، سیستمهای داخلی شرکت دسترسی پیدا کردند و محدودیت‌های اینترنت را بدون مجوز نقض کردند. هیچ ارز دیجیتال واقعی از دست نرفت، اما موارد شامل وجوه آزمایش و داده‌های داخلی می‌باشند.
اکسنتور اکنون تنها 29 دلار ماهیانه برای هر کارمند برای استفاده از Claude اپنتروپیک تامین مالی مرکزی فراهم میکند، کاهش از سیستمی که در آن برخی از کارمندان صورتحساب 500 تا 1000 دلار ماهیانه داشتند. کارمندانی که از این محدودیت تجاوز کنند باید یک پروژه یا تیم خاص را برای پوشش بقیه بدست آورند، و سطح Premium 250 دلار استفاده در هفته را ارائه می‌دهد. این تغییر در 1 اکتبر 2026 اجرا شد و اول بار توسط 404 Media گزارش شد.
شبکه‌های عصبی با تنظیم مکرر مقادیر عددی درونی به نام وزن‌ها یاد می‌گیرند، با استفاده از روش آموزشی به نام انتشار برگشتی که خطاهای یافت‌شده هنگام مقایسه پیش‌بینی‌ها با پاسخ‌های شناخته‌شده را تصحیح میکند. یادگیری عمیق چندین لایه از این شبکه‌ها را روی هم می‌چیند، و این دلیل است که سیستمهای هوش مصنوعی امروزی می‌توانند الگوها را تشخیص دهند و نتایج را بدون دریافت قوانین صریح نوشته‌شده به دست برای هر موقعیت تولید کنند.
