השפה הזו תורגמה אוטומטית ולא נבדקה על ידי אדם.

NIVΞCTOR
חדשותתמיכה

הספירה עוד לא התחילה

בינה מלאכותית · מאמר

כיצד עובדים גלאי טקסט AI, מוסברים דרך סכסוך על רומן זוכה פרס

פורסם:

בקצרה

גלאי טקסט AI אינם מוכיחים מי כתב משהו; הם משערים הסתברות על ידי מדידת דפוסים סטטיסטיים כגון צפיות למילים ושינויים בגודל המשפט. גלאי בשם Pangram 4.1 יחסו לאחרונה 99% מרומן זוכה פרס בשפה ספרדית בשווי 20,000 יורו לבינה מלאכותית, מה שגרם לשלוח לעצור אירועים קידומיים בעודו מנהל חקירה.

גרסה זו היא תרגום מכונה של המקור (English). לקריאת המקור

ממצא של כלי זיהוי שרומן זוכה פרס נכתב כמעט לחלוטין על ידי מכונה הציב את גלאי טקסט AI תחת בדיקה. המקרה מעלה שאלה מעשית לכותבים, סטודנטים ועורכים כאחד: מה בדיוק הם למדוד בכלים אלה, ועד כמה ניתן להאמין להחלטותיהם?

מה עורר את הדיון

המחבר פרואני David Silva Rojas זכה בפרס Almadía Ventosa-Arrufat הבינלאומי הראשון לרומן קצר, בשווי 20,000 יורו, על רומנו "Donde el agua trabaja", סיפור המתרחש בכרם יין באזור Ica בפרו. חבר שופטים פה אחד שכלל את הסופרים Cristina Rivera Garza ו-Selva Almada ו-Mónica Ojeda בחרו את העבודה מבין 2,204 הגשות מ-22 מדינות, לפי Infobea.

לפי Infobea, שהצטטה ניתוח מהעיתון הספרדי El País, הפעלת הרומן בן כ-26,000 המילים דרך כלי הגלאי Pangram 4.1 יחסה 99% ממנו לבינה מלאכותית. אותו כלי סימן 97% מתשובות הראיון ש-Silva Rojas נתן בספטמבר ו-80% מטקסט ביוגרפי אישי של 924 מילים שהגיש, בעוד שמילותיו של המראיין עצמו נרשמו כאנושיות לחלוטין. כללי התחרות דרשו מהמתחרים להצהיר כי כתבי יד שלהם "לא נכתבו, לא חלקית ולא כליל, בעזרת כלי בינה מלאכותית," תחת איום הדחה.

ההוצאה Almadía השעתה אירועי הצגה של הרומן במדריד, ברצלונה, סביליה וקדיז, שהיו אמורים להתחיל ב-23 באוקטובר 2026, לפי Proceso. ההוצאה אמרה שסילבה רוחס חתם חוזה שהצהיר שלא השתמש בכלים כאלה וביקש זמן לחקור. סילבה רוחס סירב להגיב כאשר Infobea פנתה אליו כדי לקבל את הדבר שלו.

כיצד גלאי טקסט AI בעצם עובדים

לפי המתודולוגיה שפורסמה של GPTZero, הכלי שלה מדרג טקסט בשלוש אותות עיקריים: בלבול, או כמה קל הן בחירות מילים לחזות עבור מודל שפה; התפרצות, כלומר כמה גודל משפט וסגנון משתנים על פני קטע; וטון כלל, בדיקה האם כתיבה קוראת כגנרית או חוזרת. GPTZero אומר שהוא שכבות מודל קניין עם "מאות גורמים" על גבי אמצעים בסיסיים אלה.

Pangram, הכלי המשמש במקרה הרומן, עובד בצורה שונה. לפי ערך Wikipedia בכלי וברקע של Pangram עצמו, הוא מאומן על ידי זיווג כמויות גדולות של כתיבה אנושית עם טקסט המיוצר על ידי AI שתואם לפי נושא, אורך וטון, ואז משתמש בארכיטקטורה "תערובת של מומחים" לסיווג חלקים בודדים של מסמך לפני שילובם לניקוד ברמת הפסקה. Pangram דורש לפחות 50 מילים של פרוזה כדי להפיק תוצאה ודיווחי שיעורי חיוביים כוזבים נפרדים לפי תחום כתיבה — למשל, כמעט 0% על מאמרים רפואיים לעומת שיעורים גבוהים יותר על שירה והנחיות.

קריטי, אף אחד מהכלים הללו לא טוען לזהות מחבר. הם משדרים הערכה סטטיסטית — הסתברות שקטע מסוים דומה יותר לטקסט המיוצר על ידי מכונה מאשר לטקסט אנושי שהמודל ראה בזמן הדרכה.

גלאי טקסט AI בהשוואה
כליסטטוסשיטה ליבהשיעור חיובי כוזב מתוגמ
GPTZeroפעיל מאז 2023בלבול, התפרצות, סגנון, בתוספת מודל קנייןטוענת דיוק כולל של 99.9%; דיווחים בנפרד על גילוי טקסט AI של 95.7% עם שיעור חיובי כוזב של 1% בבדיקת מעיד RAID, לפי GPTZero
Pangramהושקה 2023 כ-Checkfor.ai, שונה שם ל-Pangram Labs ב-2024; גרסה 4 שוחררה ביולי 2026סיווג אסימונים בדרגת תערובת מומחים בנתוני הדרכה אנושיים/AI מזויגיםבערך 1 ב-24,000 על מעיד Pangram 4 באנגלית; בערך 1 ב-10,000 בסך הכל, לפי Pangram
OpenAI AI Text Classifierפרש ביולי 2023 (תאריך השקה לא צוין על ידי מקור)מודל סיווג סטטיסטיפרש בגלל "שיעור דיוק נמוך"; בדיקת TechCrunch של 7 קטעים שנוצרו על ידי AI זיהתה בצורה נכונה רק 1, לעומת 5 מ-7 עבור GPTZero

מדוע שום גלאי אינו מציע ודאות

OpenAI סגרה את כלאי טקסט שלה בחודש יולי 2023, תוך ציון שיעור דיוק נמוך, לפי TechCrunch. בבדיקה לא רשמית של TechCrunch של שבעה קטעים המיוצרים על ידי AI, כלאי OpenAI זיהה בצורה נכונה רק אחד, בעוד ש-GPTZero זיהה חמישה. OpenAI אמרה בזמן שהיא חוקרת "טכניקות מקור יעילות יותר" במקום זאת.

הנתונים של Pangram שלה מדגימים את אותו מתח בין ביטחון לשגיאה. הערך של Wikipedia בכלי מציין כי הערכות עצמאיות מצאו שהוא פספס כ-10.1% מקטעים שנכתבו על ידי מערכות AI המחקות סגנון מחבר אנושי מסוים, וכי הוא הצליח גרוע יותר בטקסט שעבר דרך כלי "ממנשים" שנועדו להסוות פלט AI. אותה ערך מפרט קנקנים העבר שבהם תוצאות Pangram היו מוטלות בספק, כולל סופרת Mia Ballard, ש-78% מהכתיבה שלה סומנה כ-AI, וביקורת מערך של Wall Street Journal James Taranto, שקרא לכלי "מכונת הנמק" לאחר שסימן שלוש מאמרי צוות — אם כי שני מחברי מאמרים אלה אמרו שהם השתמשו ב-AI רק כדי לעזור לתקן את טיוטותיהם.

לעולם לא יכול להיות גלאי AI מושלם 100%.

— GPTZero, בהנחיות המפורסמות שלו למשתמשים

מה המקרה של הרומן כן וכן לא מראה

ציון Pangram 4.1 הוא אות חזקה שדחקה ב-Almadía כדי להשעות את הרולאוט של הרומן ולפתוח חקירה, אך ציון גילוי בעצמו אינו מהווה הוכחה כיצד טקסט הופק. החל מהצהרת המוציא לאור שדווחה על ידי Proceso, Almadía לא הודיעה על ממצא סופי, וסילבה רוחס לא נתן דבר שלו בעל פה. כללי התחרות נגד שימוש בـ AI — והצהרה חתומה הקשורה אליה — מה שחושף את המחבר לדחייה פוטנציאלית אם חקירה מאשרת החשד, בנפרד ממה שניקוד גלאי יחיד יכול לשקם בעצמו.

שאלות

כיצד למעשה עובדים גלאי טקסט AI כמו GPTZero ו-Pangram?
הם לא מזהים מחבר; הם משערים הסתברויות מדפוסים סטטיסטיים. GPTZero מודד צפיות (בלבול) וויריאציה בגודל משפט (התפרצות), בעוד ש-Pangram מסווג טקסט ברמת אסימון באמצעות מודל מאומן בדגימות כתובות באדם וב-AI, לפי המתודולוגיה המפורסמת של כל חברה.
מה קרה עם הרומן "Donde el agua trabaja"?
לפי Infobea, שהצטטה ניתוח מ-El País בספרד, כלאי Pangram 4.1 יחס 99% מהרומן זוכה הפרס בן כ-26,000 המילים של David Silva Rojas ל-AI. ההוצאה Almadía השעתה לאחר מכן אירועי הצגה בספרדית של הספר בעודה חוקרת, לפי Proceso.
כמה מדויקים גלאי AI?
ספקים מפרסמים שיעורי חיוביים כוזבים נמוכים מאוד — Pangram מצטט בערך 1 ב-24,000 לאחרון שלה מעיד בשפת אנגלית, ו-GPTZero טוענת דיוק כולל של כ-99.9% — אך ביקורות עצמאיות שהוזכרו ב-Wikipedia מצאו ש-Pangram פספסה יותר מ-10% טקסט AI המחקה סגנון מחבר מסוים, ו-OpenAI פרשה מהכלאי שלה ב-2023 לשיעור דיוק נמוך," לפי TechCrunch.
האם גלאי AI יכול להיות טועה בכתיבה של אדם אמיתי?
כן. ערך Wikipedia בכלי מתעד מקרים כמו סופרת Mia Ballard, ש-78% מהכתיבה שלה סומנה כ-AI, וביקורת מערך Wall Street Journal James Taranto, שקרא לכלי 'מכונת הנמק' לאחר שסימן שלוש מאמרי צוות — אם כי מחברים בשני מאמרים אלה אמרו שהם השתמשו ב-AI רק כדי לעזור לתקן את טיוטותיהם.
האם מישהו יכול להתחמק מגלאי AI, או לקבל סימון שגוי?
הערכות עצמאיות שהוזכרו ב-Wikipedia מצאו ש-Pangram פספסה בערך 10.1% מקטעים שנכתבו על ידי AI שתוכננו כדי לחקות מחבר אנושי מסוים, וגלאים בדרך כלל פועלים פחות באופן אמין בטקסטים קצרים, כתיבה לא בעל אנגלית כשפת אם, או טקסט שונה על ידי כלי "ממנשים", לפי Pangram ו-GPTZero.

איך העולם מספר את זה

מקורות

  1. Infobae — Una novela premiada con 20.000 euros resultó estar escrita en un 99% por inteligencia artificial
  2. Proceso — Almadía suspende presentación de novela premiada tras sospechas de uso de inteligencia artificial
  3. TechCrunch — OpenAI scuttles AI-written text detector over 'low rate of accuracy'
  4. Pangram — All About False Positives in AI Detectors
  5. GPTZero — AI Detector homepage and methodology
  6. Wikipedia — Pangram (AI detector)

כתבה זו הוכנה בעזרת בינה מלאכותית ועברה בדיקת מקורות אוטומטית לפני הפרסום. אם ראיתם טעות, בקשו תיקון. בקשת תיקון או זכות תגובה · איך אנחנו עובדים

כתבות קשורות