איך הכרת דיבור והוא פועל בפועל של טכנולוגיית קול-לטקסט בבינה מלאכותית

בכל פעם שטלפון תומך בהודעה קולית, או רמקול חכם עונה לשאלה מדוברת, או אפליקציית הכתוביות הלייב מציגה תרגומים, אותו קו צינור בסיסי פועל בתחום הרקע: הצליל מומר לדפוס ויזואלי, ורשת עצבית קוראת את הדפוס הזה כדי לנחש מילים. מסביר זה משתתק את קו הצינור הזה לאופן פעולתו, אילו מערכות נמצאות בשימוש נרחב, והיכן עדיין הטכנולוגיה עושה טעויות.

מגל קול לספקטרוגרם

מערכות המרת דיבור לטקסט אינן קוראות אודיו גולמי ישירות. לפי הנייר הטכני של OpenAI לדגם Whisper שלו, המפורסם ב-arXiv, האודיו מומר תחילה לצורה שרשת עצבית יכולה לעבד ביעילות לפני כל תעתוק. תיעוד מפתחים עבור Whisper, שפורסם על GitHub על ידי OpenAI, מתאר את המודל כ'דגם כללי להכרת דיבור' המטפל בתעתוק רב-לשוני, תרגום לאנגלית, זיהוי שפה דיבורית וגילוי פעילות קול - הכל דרך מודל אחד ולא כמה שלבים נפרדים.

הטכניקה המקובלת על פני מערכות מודרניות היא להפוך את האודיו לספקטרוגרם מל: תרשים המראה אילו תדרים קיימים בכל רגע של ההקלטה, בקנה מידה כדי להתאים בערך כיצד האוזן האנושית תופסת גובה. ייצוג דומה לתמונה זה, ולא הגל הגולמי, הוא מה שמוזן לרשת העצבית.

שתי גישות שונות: בקנה מידה עננים ובהתקן

לא כל מזהי דיבור בנויים באותה דרך, והבדלים חשובים לאופן ולמיקום בו הם יכולים לרוץ.

ה-Whisper של OpenAI, המתואר בנייר 'Robust Speech Recognition via Large-Scale Weak Supervision', הוכשר על 680,000 שעות של אודיו רב-לשוני ורב-משימתי שנאספו מהאינטרנט, תוך שימוש בארכיטקטורה של מקודד-מפענח טרנספורמר דומה לזו שמאחורי מודלים ליצירת טקסט כמו GPT. המקודד מעבד את הספקטרוגרם; המפענח חוזה אז את אסימוני הטקסט אחד בכל פעם. מחברי הנייר מדווחים שהמודלים המתקבלים 'מתכללים היטב לנקודות ייחוס סטנדרטיות' בהגדרות zero-shot, כלומר ללא התאמה דקה של נקודות הייחוס הספציפיות, וכי 'בהשוואה לבנים אדם, המודלים מתקרבים לדיוקם ועמידותם'.

מטרת עיצוב שונה עיצבה את מזהה ההתקן של Google עבור לוח המקשים של Gboard שלו, המתואר בפוסט מ-12 במרץ 2019 בבלוג Google Research. במקום מודל גדול הפועל על שרתים מרחוקים, Google בנתה את מה שהיא כינתה 'מזהה קול עצבי כללי להתקן' תוך שימוש בטכניקה הנקראת RNN transducer (RNN-T). המערכת דחוסה לכ-80 מגה-בתים - בהשוואה לכ-2 גיגה-בתים עבור גרף החיפוש המשמש אלא מודלי הייצור המסורתיים של Google - על ידי החלת כימוט פרמטרים, טכניקה שהפוסט אומר שסיפקה קיצוץ של פי ארבעה בערך בהשוואה לגרסת הנקודה הצפה המאומנת (כ-450 מגה-בתים לפני דחיסה). מכיוון שהמודל כולו מתאים לטלפון, Google אמרה שהוא 'מציע את אותה דיוק כמו המודלים המסורתיים המבוססים על שרתים' בזמן שהוא עובד 'גם כאשר אתה מחוץ לרשת', תוך שמנוע הגבלות או הפסקות המגיעות מהשידור של קול לשרת מרוחק.

מדוע זה חשוב להנגשה

הכרת דיבור עובדת היטב רק לדפוסי דיבור שהיא ראתה מספיק בהכשרה. צוות AI for Social Good של Google השיק את Project Euphonia בפוסט מ-7 במאי 2019, ואמר שמודלים סטנדרטיים בנויים מנתונים גדולים של מה שהפוסט קורא לו דיבור 'טיפוסי' ולכן ביצוע גרוע לאנשים שדיבורם שונה לפי תנאים שהפוסט קורא להם - שבץ, ALS, טרשת נפוצה, פגיעה בראש טראומטית ומחלת פרקינסון; Team Gleason, קבוצת תadvocacy של ALS שעבדה עם הפרויקט, מוצעת בנפרד שיתוק מוחי בין התנאים שיכולים להפוך טכנולוגיה זו לקשה יותר לשימוש. הפרויקט מבקש מתנדבים עם דיבור לא טיפוסי להקליט ביטויים כדי שחוקרים יוכלו לבנות מודלים כוללים יותר. פוסט המשך מ-2022 על אותו בלוג הודיע שהמחקר של הפרויקט הרחיב לארבע שפות נוספות - צרפתית, הינדית, יפנית וספרדית - בנוסף לעבודתו המקורית דוברת אנגלית, ואמר שהמאמץ הרחב יותר גדל ל-Project Relate, המתואר בפוסט בלוג Google נפרד מנובמבר 2021 כאפליקציית Android, שהושקה באותו זמן בבטא סגורה, שתוכננה כדי ללמוד דפוסי דיבור בודדים של המשתמש ולבנות מודל זיהוי מותאם אישית.

היכן הטכנולוגיה עדיין כושלת: 'הזיות'

תעתוק אוטומטי אינו פשוט איטי או לעתים אחרונות שגוי - חוקרים תיעדו מקרים שבהם מודלים מומציאים תוכן שמעולם לא נאמר, מצב כישלון בדרך כלל נקרא הזיה. דיווח של Fortune, שפורסם ב-26 באוקטובר 2024, ציטט חוקרים Allison Koenecke מאוניברסיטת Cornell ו-Mona Sloane מאוניברסיטת Virginia, שמצאו שמההזיות שהם זיהו בתעתוקי Whisper, כמעט 40% הכילו תוכן שחוקרים סיווגו כמזיק או מדאיג, כולל הצהרות אלימות שנעשו ותגובות גזעניות שלא היו קיימות בקול המקורי. אותו דוח אמר שתעתוק מבוסס Whisper מחברה שנקראת Nabla כבר בשימוש על ידי יותר מ-30,000 רופאים ברחבי 40 מערכות בריאות, עם כ-7 מיליון ביקורים רפואיים שתוקדמו בנקודה זו, למרות שOpenAI התריעה נגד שימוש ב-Whisper ב'תחומי סיכון גבוה' שבהם שגיאות תעתוק עלולות להשפיע על החלטות.

היכן אנשים פוגשים זאת מדי יום

• לוחות מקשים של טלפון: הכתבה בהתקן (למשל מזהה Gboard לא מקוון) ממירה דיבור לטקסט מוקלד ללא שליחת קול לשרת.
• רמקולים חכמים וסיוע קולי: מודלים מבוססי ענן או היברידיים פירשו פקודות מדוברות.
• כלים להנגשה: אפליקציות הבנויות על מודלים מותאמים אישית, כמו Project Relate, עוזרים בתעתוק דיבור של אנשים עם דפוסי דיבור לא טיפוסיים.
• תעתוק רפואי ופרופסיונלי: מוצרים מסחריים מבוססי Whisper תעתוקים הייעוץ וההפגשות, שימוש למקרה זה שעכשיו עומד בפני בדיקה על שיעורי הזיות.