كيف يعمل التعرف على الكلام وتقنية تحويل الصوت إلى نص بالذكاء الاصطناعي فعليًا

في كل مرة يقوم فيها الهاتف بنسخ رسالة صوتية، أو تجيب مكبرة ذكية على سؤال منطوق، أو يعرض تطبيق الترجمة الفورية نصوصًا مباشرة، يعمل نفس خط الأنابيب الأساسي في الخلفية: يتم تحويل الصوت إلى نمط بصري، وتقرأ شبكة عصبية هذا النمط لتخمين الكلمات. يقسم هذا الشرح خط الأنابيب هذا إلى كيفية عمله، وأي الأنظمة قيد الاستخدام على نطاق واسع، وحيث لا تزال التكنولوجيا ترتكب أخطاء.

من موجة الصوت إلى التمثيل البياني الطيفي

لا تقرأ أنظمة تحويل الكلام إلى نص الصوت الخام مباشرة. وفقًا للورقة التقنية من OpenAI لنموذج Whisper الخاص بها، المنشورة على arXiv، يتم تحويل الصوت أولاً إلى شكل يمكن لشبكة عصبية معالجته بكفاءة قبل أي نسخ. توثق وثائق المطورين لـ Whisper، المنشورة على GitHub بواسطة OpenAI، النموذج بأنه 'نموذج تعرف عام على الكلام' يتعامل مع النسخ متعدد اللغات والترجمة إلى الإنجليزية وتحديد لغة الكلام والكشف عن نشاط الصوت — كل ذلك من خلال نموذج واحد وليس عدة مراحل منفصلة.

الأسلوب الشائع عبر الأنظمة الحديثة هو تحويل الصوت إلى تمثيل بياني طيفي ميل: رسم بياني يوضح الترددات الموجودة في كل لحظة من التسجيل، مقياسها يطابق تقريبًا كيفية إدراك الأذن البشرية للتردد. يتم إدخال هذا التمثيل الشبيه بالصورة، وليس الموجة الخام، في الشبكة العصبية.

أسلوبان مختلفان: على نطاق سحابي وعلى الجهاز

لم يتم بناء جميع أنظمة التعرف على الكلام بنفس الطريقة، والاختلافات مهمة لكيفية وأين يمكن تشغيلها.

تم تدريب أداة Whisper من OpenAI، الموصوفة في الورقة 'Robust Speech Recognition via Large-Scale Weak Supervision'، على 680,000 ساعة من الصوت متعدد اللغات والمتعدد المهام المجمعة من الإنترنت، باستخدام معمارية محول محرر-فاك تشفير مماثلة لتلك التي تقف خلف نماذج توليد النصوص مثل GPT. يعالج المحرر التمثيل البياني الطيفي؛ ثم يتنبأ فاك التشفير برموز النص واحدًا تلو الآخر. يفيد مؤلفو الورقة بأن النماذج الناتجة 'تعمم بشكل جيد على المعايير القياسية' في إعدادات الصفر، مما يعني دون ضبط دقيق على تلك المعايير المحددة، وأنه 'عند المقارنة مع البشر، تقترب النماذج من دقتهم ومتانتهم'.

شكل هدف تصميم مختلف متعرف Google على الجهاز لوحة مفاتيح Gboard، الموصوف في منشور 12 مارس 2019 على مدونة Google Research. بدلاً من نموذج كبير يعمل على خوادم بعيدة، بنت Google ما أسمته 'متعرف كلام عصبي بالكامل على الجهاز' باستخدام أسلوب يسمى محول RNN (RNN-T). يتم ضغط النظام إلى حوالي 80 ميجابايت - مقابل ما يقرب من 2 جيجابايت لرسم الخريطة البحثي المستخدم من قبل نماذج الإنتاج التقليدية من Google - من خلال تطبيق تكميم المعاملات، وهو أسلوب قالت المنشور يوفر انخفاضًا بحوالي أربعة أضعاف مقارنة بنسخة الفاصلة العائمة المدربة (حوالي 450 ميجابايت قبل الضغط). لأن النموذج الكامل يتناسب مع الهاتف، قالت Google إنه 'يوفر نفس الدقة مثل النماذج التقليدية القائمة على الخادم' أثناء العمل 'حتى عندما تكون بلا اتصال بالإنترنت'، مما يتجنب التأخير أو الانقطاعات التي تأتي من إرسال الصوت إلى خادم بعيد.

لماذا هذا مهم لإمكانية الوصول

يعمل التعرف على الكلام بشكل جيد فقط لأنماط الكلام التي رآها بكمية كافية في التدريب. أطلقت فريق Google للذكاء الاصطناعي من أجل الخير Project Euphonia في منشور 7 مايو 2019، قائلة إن النماذج القياسية مبنية من أحجام كبيرة مما تسميه المنشور كلام 'نموذجي' وبالتالي تؤدي أداءً سيئة للأشخاص الذين تم تغيير كلامهم بسبب الحالات التي يسميها المنشور كسكتة دماغية و ALS والتصلب المتعدد والإصابة الدماغية الرضحية ومرض الشلل الارتعاشي؛ يسرد فريق Gleason، وهو مجموعة دعم ALS التي عملت مع المشروع، بشكل منفصل الشلل الدماغي من بين الحالات التي يمكن أن تجعل هذه التكنولوجيا أصعب في الاستخدام. يطلب المشروع من المتطوعين الذين يعانون من كلام غير نموذجي تسجيل عبارات حتى يتمكن الباحثون من بناء نماذج أكثر شمولاً. أعلن منشور متابعة من 2022 على نفس المدونة عن توسع بحث المشروع إلى أربع لغات أخرى - الفرنسية والهندية واليابانية والإسبانية - بالإضافة إلى عمله الأصلي باللغة الإنجليزية، وقال إن الجهد الأوسع قد نما ليصبح Project Relate، موصوف في منشور مدونة Google منفصل من نوفمبر 2021 بأنه تطبيق Android، تم إطلاقه في ذلك الوقت في النسخة التجريبية المغلقة، مصمم للتعرف على أنماط كلام المستخدم الفردية وبناء نموذج تعرف شخصي.

حيث التكنولوجيا لا تزال تفشل: 'الهلوسات'

النسخ التلقائي ليس ببساطة بطيئًا أو خاطئًا في بعض الأحيان - وثق الباحثون حالات حيث تخترع النماذج محتوى لم يُنطق أبدًا، وهو فشل يُسمى عموميًا بهلوسة. ذكرت حالة نشرتها Fortune في 26 أكتوبر 2024، الباحثة Allison Koenecke من جامعة Cornell و Mona Sloane من جامعة Virginia، التي وجدت أنه من الهلوسات التي حددوها في نسخ Whisper، كانت ما يقرب من 40٪ تحتوي على محتوى صنفه الباحثون على أنه ضار أو مثير للقلق، بما في ذلك البيانات العنيفة المزعومة والتعليقات العنصرية المخترعة التي لم تكن موجودة في الصوت الأصلي. قالت نفس التقرير إن النسخ القائم على Whisper من شركة تدعى Nabla كان قيد الاستخدام بالفعل من قبل أكثر من 30,000 طبيب عبر 40 نظام صحي، مع ما يقرب من 7 ملايين زيارة طبية تم نسخها حتى تلك النقطة، على الرغم من أن OpenAI كانت قد حذرت من استخدام Whisper في 'المجالات عالية المخاطر' حيث يمكن لأخطاء النسخ أن تؤثر على القرارات.

حيث يواجهها الناس يوميًا

• لوحات مفاتيح الهاتف: التعرف على الكلام على الجهاز (مثل متعرف Gboard غير المتصل) يحول الكلام إلى نص مكتوب دون إرسال الصوت إلى خادم.
• مكبرات المراقبة والمساعدات الصوتية: نماذج قائمة على السحابة أو هجينة تفسر الأوامر المنطوقة.
• أدوات إمكانية الوصول: تطبيقات مبنية على نماذج شخصية، مثل Project Relate، تساعد في نسخ الكلام للأشخاص الذين لديهم أنماط كلام غير نموذجية.
• النسخ الطبي والمهني: تنسخ المنتجات التجارية القائمة على Whisper الاستشارات والاجتماعات، وهي حالة استخدام تواجه الآن مراقبة فحص معدلات الهلوسة.