هذه اللغة مترجمة آليًا، ولم تتم مراجعتها من قِبل إنسان.

الذكاء الاصطناعي · مقال

كيفية عمل كاشفات نصوص الذكاء الاصطناعي، موضحة من خلال نزاع حول رواية فائزة بجائزة

نُشر:

باختصار

لا تثبت كاشفات نصوص الذكاء الاصطناعي من كتب النص؛ بل تقدر احتمالية من خلال قياس أنماط إحصائية مثل توقعية الكلمات وتباين طول الجملة. أرجعت كاشفة تسمى Pangram 4.1 مؤخراً 99% من رواية إسبانية فائزة بجائزة بقيمة 20,000 يورو إلى الذكاء الاصطناعي، مما دفع ناشرها إلى إيقاف الفعاليات الترويجية بينما تجري تحقيقاً.

هذه النسخة ترجمة آلية للنص الأصلي (English). اقرأ النص الأصلي

إن اكتشاف أداة الكشف بأن رواية فائزة بجائزة كُتبت تقريباً بالكامل بواسطة الآلة قد وضع كاشفات نصوص الذكاء الاصطناعي تحت الفحص. تثير الحالة سؤالاً عملياً لدى الكتاب والطلاب والمحررين على حد سواء: ما الذي تقيسه هذه الأدوات فعلياً، وإلى أي مدى يمكن الوثوق بأحكامها؟

ما الذي أثار النقاش

فاز الكاتب البيروفي David Silva Rojas بجائزة Almadía Ventosa-Arrufat الدولية الأولى للرواية القصيرة، بقيمة 20,000 يورو، عن روايته "Donde el agua trabaja"، وهي قصة تدور أحداثها في ضيعة نبيذ في منطقة Ica بالبيرو. اختارت هيئة محلفين بالإجماع شملت الكتاب Cristina Rivera Garza و Selva Almada و Mónica Ojeda العمل من بين 2,204 مشاركة من 22 دولة، وفقاً لـ Infobea.

وفقاً لـ Infobea، التي استشهدت بتحليل من قبل الصحيفة الإسبانية El País، أرجعت كاشفة Pangram 4.1 الرواية التي يبلغ عدد كلماتها حوالي 26,000 كلمة بنسبة 99% إلى الذكاء الاصطناعي. وضعت نفس الأداة علامة على 97% من إجابات المقابلة التي قدمها Silva Rojas في سبتمبر و80% من نص سيرة ذاتية من 924 كلمة قدمه، بينما سجلت كلمات المحاور نفسه كبشرية بالكامل. طلبت قواعس المسابقة من المتسابقين أن يعلنوا أن مخطوطاتهم "لم تُكتب، لا جزئياً ولا كلياً، باستخدام أدوات الذكاء الاصطناعي،" تحت طائلة الاستبعاد.

علقت دار نشر Almadía فعاليات عرض الرواية في مدريد وبرشلونة وإشبيلية وقادس، التي كانت من المقرر أن تبدأ في 23 أكتوبر 2026، وفقاً لـ Proceso. قالت الدار أن Silva Rojas وقّع عقداً يعلن فيه أنه لم يستخدم مثل هذه الأدوات وطلبت وقتاً للتحقيق. رفض Silva Rojas التعليق عند اتصال Infobea به للحصول على روايته.

كيفية عمل كاشفات نصوص الذكاء الاصطناعي بالفعل

وفقاً للمنهجية المنشورة الخاصة بـ GPTZero، تقيّم أداتها النص على ثلاث إشارات رئيسية: الارتباك، أو مدى توقعية خيارات الكلمات لنموذج اللغة؛ الانفجارية، بمعنى مدى تغير طول الجملة والأسلوب عبر فقرة؛ والنبرة الكلية، بفحص ما إذا كانت الكتابة تبدو عامة أو متكررة. تقول GPTZero إنها تطبق نموذجاً ملكياً يحتوي على "مئات العوامل" فوق هذه الإجراءات الأساسية.

تعمل Pangram، الأداة المستخدمة في قضية الرواية، بطريقة مختلفة. وفقاً لإدخال Wikipedia حول الأداة ومدونة Pangram نفسها، يتم تدريبها من خلال دمج أحجام كبيرة من الكتابة البشرية مع نص ينتجه الذكاء الاصطناعي ويطابق بالموضوع والطول والنبرة، ثم تستخدم معمارية "مزيج من الخبراء" لتصنيف أقسام فردية من المستند قبل دمجها في درجة على مستوى الفقرة. تتطلب Pangram ما لا يقل عن 50 كلمة من النثر لإنتاج نتيجة وتبلغ معدلات إيجابية كاذبة منفصلة حسب مجال الكتابة — على سبيل المثال، قريب من 0% على الأوراق الطبية مقابل معدلات أعلى على الشعر والوصفات.

والأهم من ذلك، أن لا أحد من هذه الأدوات يدّعي تحديد المؤلف. إنها تنتج تقديراً إحصائياً — احتمالاً بأن فقرة معينة تشبه النص الذي ينتجه الآلة أكثر من النصوص البشرية التي رأها النموذج أثناء التدريب.

مقارنة كاشفات نصوص الذكاء الاصطناعي
الأداةالحالةالطريقة الأساسيةمعدل الإيجابية الكاذبة المدعاة
GPTZeroنشطة منذ 2023الارتباك والانفجارية والأسلوب، بالإضافة إلى نموذج ملكيتدّعي دقة بنسبة 99.9% الكلية؛ تبلغ بشكل منفصل عن كشف نص الذكاء الاصطناعي بنسبة 95.7% مع معدل إيجابية كاذبة بنسبة 1% في اختبار RAID، وفقاً لـ GPTZero
Pangramانطلقت 2023 بصفتها Checkfor.ai، وأعيدت تسميتها إلى Pangram Labs في 2024؛ تم إطلاق الإصدار 4 في يوليو 2026تصنيف الرموز على مستوى الخليط من الخبراء على بيانات التدريب البشرية/الذكاء الاصطناعي المقترنةحوالي 1 من كل 24,000 على معيار Pangram 4 الإنجليزي؛ حوالي 1 من كل 10,000 الكل، وفقاً لـ Pangram
OpenAI AI Text Classifierمتقاعد يوليو 2023 (لم يتم تحديد تاريخ الإطلاق من قبل المصدر)نموذج مصنف إحصائيمتقاعد بسبب "معدل دقة منخفض"؛ اختبر TechCrunch بشكل صحيح 1 من 7 عينات الذكاء الاصطناعي، مقابل 5 من 7 لـ GPTZero

لماذا لا يقدم أي كاشف اليقين

أغلقت OpenAI كاشفها الخاص بنصوص الذكاء الاصطناعي في يوليو 2023، نقلاً عن معدل دقة منخفض، وفقاً لـ TechCrunch. في اختبار غير رسمي لـ TechCrunch من سبع فقرات ينتجها الذكاء الاصطناعي، حددت أداة OpenAI بشكل صحيح واحدة فقط، بينما حددت GPTZero خمسة. قالت OpenAI في ذلك الوقت إنها تبحث عن "تقنيات الأصل الأكثر فعالية" بدلاً من ذلك.

تُظهر أرقام Pangram الخاصة بها نفس التوتر بين الثقة والخطأ. لاحظ إدخال Wikipedia حول الأداة أن التقييمات المستقلة وجدت أنها فاتت حوالي 10.1% من الفقرات المكتوبة بواسطة أنظمة الذكاء الاصطناعي التي تحاكي نمط مؤلف بشري محدد، وأنها كانت تؤدي بشكل أسوأ على النصوص التي مرت عبر أدوات "إنسانية" تهدف إلى إخفاء الناتج الذي ينتجه الذكاء الاصطناعي. تُدرج نفس الإدخالات نزاعات سابقة كانت فيها نتائج Pangram موضع تحدٍ، بما فيها الروائية Mia Ballard، التي تم وضع علامة على 78% من كتاباتها على أنها من الذكاء الاصطناعي، والنقد من محرر Wall Street Journal James Taranto، الذي أطلق على الأداة "آلة التشهير" بعد أن وضعت علامة على ثلاث مقالات للموظفين — على الرغم من أن مؤلفي اثنتين من تلك المقالات قالا أنهما استخدما الذكاء الاصطناعي فقط للمساعدة في مراجعة مسودداتهما.

لا يمكن لأي كاشف ذكاء اصطناعي أن يكون مثالياً بنسبة 100% أبداً.

— GPTZero، في إرشاداتها المنشورة للمستخدمين

ما تُظهره حالة الرواية وما لا تُظهره

درجة Pangram 4.1 إشارة قوية دفعت Almadía إلى إيقاف طرح الرواية وفتح تحقيق، لكن درجة الكشف وحدها لا تشكل دليلاً على كيفية إنتاج النص. اعتباراً من بيان الناشر الذي أبلغ عنه Proceso، لم تعلن Almadía عن نتيجة نهائية، ولم يقدم Silva Rojas حسابه رسمياً. قاعدة المسابقة ضد استخدام الذكاء الاصطناعي — والإعلان الموقع المرتبط بها — هو ما يعرّض المؤلف للاستبعاد المحتمل إذا أكد التحقيق الاشتباه، بمعزل عن ما يمكن لأي درجة كاشف واحدة أن تؤسسه بمفرده.

أسئلة

كيف تعمل كاشفات نصوص الذكاء الاصطناعي مثل GPTZero و Pangram بالفعل؟
إنها لا تحدد المؤلف؛ بل تقدر الاحتمالات من الأنماط الإحصائية. تقيس GPTZero القابلية للتنبؤ (الارتباك) والتباين في طول الجملة (الانفجارية)، بينما تصنف Pangram النص على مستوى الرموز باستخدام نموذج تم تدريبه على عينات مكتوبة بشرياً وبواسطة الذكاء الاصطناعي، وفقاً للمنهجية المنشورة لكل شركة.
ماذا حدث مع الرواية "Donde el agua trabaja"؟
وفقاً لـ Infobea، التي استشهدت بتحليل من قبل موقع El País بإسبانيا، أرجعت أداة Pangram 4.1 99% من الرواية الفائزة بجائزة التي يبلغ عدد كلماتها حوالي 26,000 كلمة بقلم David Silva Rojas إلى الذكاء الاصطناعي. أيقفت دار نشر Almadía بعد ذلك فعاليات عرض الكتاب الإسباني بينما تجري تحقيقاً، كما أبلغ عنه Proceso.
ما مدى دقة كاشفات الذكاء الاصطناعي؟
ينشر البائعون معدلات إيجابية كاذبة منخفضة جداً — تستشهد Pangram بحوالي 1 من كل 24,000 لأحدث معيار اللغة الإنجليزية، وتدّعي GPTZero دقة بنسبة تقريبية 99.9% — لكن المراجعات المستقلة المذكورة على Wikipedia وجدت أن Pangram فاتت أكثر من 10% من نص الذكاء الاصطناعي الذي يحاكي نمط مؤلف محدد، وتقاعدت OpenAI من كاشفتها الخاصة في 2023 بسبب "معدل دقة منخفض،" وفقاً لـ TechCrunch.
هل يمكن لكاشف الذكاء الاصطناعي أن يكون مخطئاً في كتابة شخص حقيقي؟
نعم. يوثق إدخال Wikipedia حول Pangram حالات مثل الروائية Mia Ballard، التي تم وضع علامة على 78% من كتاباتها على أنها من الذكاء الاصطناعي، ومحرر Wall Street Journal James Taranto، الذي أطلق على الأداة 'آلة التشهير' بعد أن وضعت علامة على ثلاث مقالات للموظفين — على الرغم من أن مؤلفي اثنتين من تلك المقالات قالا أنهما استخدما الذكاء الاصطناعي فقط للمساعدة في مراجعة مسودداتهما.
هل يمكن لشخص ما تجاوز كاشف الذكاء الاصطناعي، أو يتم وضع علامة عليه بشكل خاطئ؟
وجدت التقييمات المستقلة المذكورة في Wikipedia أن Pangram فاتت حوالي 10.1% من الممرات المكتوبة بواسطة الذكاء الاصطناعي والمصممة لمحاكاة مؤلف بشري معين، والكاشفات بشكل عام تؤدي بشكل أقل موثوقية على النصوص القصيرة أو الكتابة غير الإنجليزية الأصلية أو النصوص المعدلة بواسطة أدوات 'الإنسانية'، وفقاً لـ Pangram و GPTZero.

كيف يرويها العالم

المصادر

  1. Infobae — Una novela premiada con 20.000 euros resultó estar escrita en un 99% por inteligencia artificial
  2. Proceso — Almadía suspende presentación de novela premiada tras sospechas de uso de inteligencia artificial
  3. TechCrunch — OpenAI scuttles AI-written text detector over 'low rate of accuracy'
  4. Pangram — All About False Positives in AI Detectors
  5. GPTZero — AI Detector homepage and methodology
  6. Wikipedia — Pangram (AI detector)

أُعدّت هذه المادة بالذكاء الاصطناعي وخضعت لتدقيق آلي للمصادر قبل النشر. إن رأيت خطأً فاطلب تصحيحه. طلب تصحيح أو حق الرد · كيف نعمل

مواد ذات صلة