यह भाषा मशीन द्वारा अनुवादित है और किसी मानव द्वारा समीक्षा नहीं की गई है।

कृत्रिम बुद्धिमत्ता · लेख

एआई टेक्स्ट डिटेक्टर कैसे काम करते हैं, पुरस्कार विजेता उपन्यास विवाद के माध्यम से समझाया गया

प्रकाशित:

संक्षेप में

एआई टेक्स्ट डिटेक्टर यह साबित नहीं करते कि किसने कुछ लिखा है; वे शब्द की भविष्यवाणीयता और वाक्य-लंबाई भिन्नता जैसे सांख्यिकीय पैटर्न को मापकर संभावना का अनुमान लगाते हैं। Pangram 4.1 नामक एक डिटेक्टर ने हाल ही में €20,000 के पुरस्कार विजेता स्पेनिश-भाषा उपन्यास के 99% को कृत्रिम बुद्धिमत्ता को जिम्मेदार ठहराया, जिससे इसके प्रकाशक ने जांच करते समय प्रचार कार्यक्रमों को स्थगित कर दिया।

यह संस्करण मूल पाठ (English) का मशीनी अनुवाद है। मूल पाठ पढ़ें

एक डिटेक्शन टूल का यह निष्कर्ष कि एक पुरस्कार विजेता उपन्यास लगभग पूरी तरह से मशीन द्वारा लिखा गया था, एआई टेक्स्ट डिटेक्टरों को जांच के दायरे में ले आया है। यह मामला लेखकों, छात्रों और संपादकों के लिए एक व्यावहारिक सवाल उठाता है: ये उपकरण वास्तव में क्या माप रहे हैं, और उनके निर्णयों पर कितना विश्वास किया जा सकता है?

बहस क्या ट्रिगर करी

पेरुवियन लेखक David Silva Rojas ने अपने उपन्यास "Donde el agua trabaja" के लिए उद्घाटन Almadía Ventosa-Arrufat International Short Novel Prize जीता, जिसकी कीमत €20,000 है, जो पेरू के Ica क्षेत्र में एक दाख की बारी पर स्थापित एक कहानी है। Cristina Rivera Garza, Selva Almada और Mónica Ojeda सहित एक सर्वसम्मत जूरी ने Infobae के अनुसार 22 देशों में 2,204 प्रस्तुतियों से इस काम को चुना।

Infobae के अनुसार, जिसने स्पेनिश अखबार El País के विश्लेषण का हवाला दिया, लगभग 26,000 शब्दों के उपन्यास को Pangram 4.1 डिटेक्शन टूल के माध्यम से चलाने से इसके 99% को कृत्रिम बुद्धिमत्ता को जिम्मेदार ठहराया गया। एक ही टूल ने Silva Rojas द्वारा सितंबर में दिए गए साक्षात्कार के उत्तरों के 97% को फ्लैग किया और उन्होंने जो 924-शब्द की आत्मकथात्मक पाठ प्रस्तुत की थी उसके 80% को फ्लैग किया, जबकि साक्षात्कारकर्ता के अपने शब्दों को पूरी तरह मानवीय के रूप में पंजीकृत किया गया। प्रतियोगिता के नियमों को प्रविष्टि करने वालों को घोषणा करने की आवश्यकता थी कि उनकी पांडुलिपियां "कृत्रिम बुद्धिमत्ता उपकरणों के साथ न तो आंशिक रूप से और न ही पूरी तरह से लिखी गई थीं," असफलता के दंड पर।

Proceso के अनुसार, प्रकाशक Almadía ने Madrid, Barcelona, Seville और Cádiz में उपन्यास के प्रस्तुति कार्यक्रमों को स्थगित कर दिया, जो 23 अक्टूबर, 2026 को शुरू होने के लिए तय किए गए थे। प्रकाशक ने कहा कि Silva Rojas ने एक अनुबंध पर हस्ताक्षर किए थे जिसमें घोषणा की गई थी कि उन्होंने ऐसे उपकरणों का उपयोग नहीं किया था और जांच के लिए समय मांगा था। Silva Rojas ने Infobae द्वारा अपने खाते के लिए संपर्क किए जाने पर टिप्पणी करने से इनकार कर दिया।

एआई टेक्स्ट डिटेक्टर वास्तव में कैसे काम करते हैं

GPTZero की अपनी प्रकाशित पद्धति के अनुसार, इसका उपकरण तीन मुख्य संकेतों पर पाठ को स्कोर करता है: पर्पलेक्सिटी, या शब्द चयन एक भाषा मॉडल के लिए कितने अनुमानित हैं; बर्स्टिनेस, जिसका अर्थ है कि एक मार्ग में वाक्य की लंबाई और शैली कितनी भिन्न होती है; और समग्र टोन, यह जांचता है कि लेखन सामान्य या दोहराया हुआ है या नहीं। GPTZero कहता है कि यह इन आधार उपायों के ऊपर "सैकड़ों कारकों" के साथ एक मालिकाना मॉडल लगाता है।

Pangram, जो उपन्यास के मामले में उपयोग किया गया उपकरण, अलग तरीके से काम करता है। Wikipedia की उपकरण पर प्रविष्टि और Pangram के अपने ब्लॉग के अनुसार, इसे विषय, लंबाई और टोन द्वारा मेल खाते कृत्रिम बुद्धिमत्ता-उत्पन्न पाठ के साथ मानव लेखन की बड़ी मात्रा को जोड़कर प्रशिक्षित किया जाता है, फिर एक मार्ग-स्तर स्कोर में उन्हें जोड़ने से पहले किसी दस्तावेज़ के अलग-अलग सेक्शन को वर्गीकृत करने के लिए "विशेषज्ञों का मिश्रण" आर्किटेक्चर का उपयोग करता है। Pangram को एक परिणाम उत्पन्न करने के लिए कम से कम 50 शब्दों के गद्य की आवश्यकता है और लेखन क्षेत्र द्वारा अलग-अलग गलत सकारात्मक दरों की रिपोर्ट करता है — उदाहरण के लिए, चिकित्सा पत्रों पर लगभग 0% बनाम कविता और व्यंजनों पर अधिक दर।

महत्वपूर्ण रूप से, इनमें से कोई भी उपकरण किसी लेखक की पहचान करने का दावा नहीं करता है। वे एक सांख्यिकीय अनुमान प्रदान करते हैं — एक संभावना है कि दिया गया अनुच्छेद मशीन द्वारा उत्पन्न पाठ से अधिक मानव पाठ की तरह दिखता है जिसे मॉडल ने प्रशिक्षण में देखा है।

एआई टेक्स्ट डिटेक्टर की तुलना
उपकरणस्थितिमुख्य तरीकादावा किए गए गलत सकारात्मक दर
GPTZero2023 के बाद से सक्रियपर्पलेक्सिटी, बर्स्टिनेस, शैली, साथ ही एक मालिकाना मॉडल99.9% समग्र सटीकता का दावा करता है; अलग से RAID बेंचमार्क परीक्षण में 95.7% एआई-टेक्स्ट डिटेक्शन और 1% गलत सकारात्मक दर की रिपोर्ट करता है, GPTZero के अनुसार
Pangram2023 में Checkfor.ai के रूप में लॉन्च किया गया, 2024 में Pangram Labs में पुनः ब्रांडेड; संस्करण 4 जुलाई 2026 में जारी किया गयायुग्मित मानव/एआई प्रशिक्षण डेटा पर विशेषज्ञों का मिश्रण टोकन वर्गीकरणPangram 4 के अंग्रेजी बेंचमार्क पर लगभग 1 में 24,000; कुल मिलाकर लगभग 1 में 10,000, Pangram के अनुसार
OpenAI AI Text Classifierजुलाई 2023 में सेवानिवृत्त (स्रोत द्वारा लॉन्च डेट निर्दिष्ट नहीं)सांख्यिकीय वर्गीकारक मॉडल"कम सटीकता दर" के लिए सेवानिवृत्त; TechCrunch का परीक्षण 7 एआई नमूनों में से केवल 1 को सही तरीके से फ्लैग करता है, GPTZero के लिए 7 में से 5 के विरुद्ध

कोई डिटेक्टर निश्चितता क्यों नहीं देता

TechCrunch के अनुसार, OpenAI ने जुलाई 2023 में अपने एआई टेक्स्ट क्लासिफायर को बंद कर दिया, कम सटीकता दर का हवाला देते हुए। TechCrunch के सात एआई-उत्पन्न मार्ग के अनौपचारिक परीक्षण में, OpenAI के उपकरण ने केवल एक को सही तरीके से पहचाना, जबकि GPTZero ने पांच को पहचाना। OpenAI ने उस समय कहा कि वह इसके बजाय "अधिक प्रभावी प्रोविनेंस तकनीकों" पर शोध कर रहा था।

Pangram की अपनी आंकड़ें आत्मविश्वास और त्रुटि के बीच एक ही तनाव दिखाते हैं। Wikipedia की उपकरण पर प्रविष्टि नोट करती है कि स्वतंत्र मूल्यांकन ने पाया कि यह एक विशिष्ट मानव लेखक की शैली की नकल करने वाली एआई प्रणालियों द्वारा लिखे गए लगभग 10.1% अनुच्छेदों को याद करता है, और यह "ह्यूमनाइज़र" उपकरणों के माध्यम से चलाए गए पाठ पर बदतर प्रदर्शन करता है जो एआई आउटपुट को छिपाने के लिए हैं। एक ही प्रविष्टि में पिछले विवाद सूचीबद्ध हैं जिनमें Pangram के परिणामों को चुनौती दी गई थी, जिसमें उपन्यासकार Mia Ballard शामिल है, जिसका लेखन 78% एआई के रूप में फ्लैग किया गया था, और Wall Street Journal संपादक James Taranto की आलोचना, जिन्होंने उपकरण को "मानहानि की मशीन" कहा, जब इसने तीन कर्मचारी लेखों को फ्लैग किया — हालांकि उन लेखों के दो लेखकों ने कहा कि उन्होंने अपने ड्राफ्ट को संशोधित करने में मदद के लिए केवल एआई का उपयोग किया था।

कोई एआई डिटेक्टर कभी भी 100% सही नहीं हो सकता है।

— GPTZero, अपने प्रकाशित उपयोगकर्ता मार्गदर्शन में

उपन्यास का मामला क्या दिखाता है और क्या नहीं दिखाता है

Pangram 4.1 स्कोर एक मजबूत संकेत है जिसने Almadía को उपन्यास के रोलआउट को रोकने और एक जांच खोलने के लिए प्रेरित किया, लेकिन एक डिटेक्शन स्कोर अकेले यह साबित नहीं करता है कि एक पाठ कैसे उत्पन्न हुआ था। Proceso द्वारा रिपोर्ट की गई प्रकाशक के बयान के अनुसार, Almadía ने एक अंतिम निष्कर्ष की घोषणा नहीं की थी, और Silva Rojas ने रिकॉर्ड पर अपना खाता नहीं दिया था। एआई उपयोग के विरुद्ध प्रतियोगिता का नियम — और इससे जुड़ी हस्ताक्षरित घोषणा — यह है कि लेखक को संभावित असफलता के लिए उजागर करता है यदि जांच संदेह की पुष्टि करती है, किसी एकल डिटेक्टर स्कोर से अलग जो अपने आप में स्थापित कर सकता है।

प्रश्न

GPTZero और Pangram जैसे एआई टेक्स्ट डिटेक्टर वास्तव में कैसे काम करते हैं?
वे किसी लेखक की पहचान नहीं करते हैं; वे सांख्यिकीय पैटर्न से संभावनाओं का अनुमान लगाते हैं। GPTZero भविष्यवाणीयता (पर्पलेक्सिटी) और वाक्य की लंबाई (बर्स्टिनेस) में भिन्नता को मापता है, जबकि Pangram युग्मित मानव- और एआई-लिखित नमूनों पर प्रशिक्षित एक मॉडल का उपयोग करके टोकन स्तर पर पाठ को वर्गीकृत करता है, प्रत्येक कंपनी की प्रकाशित पद्धति के अनुसार।
उपन्यास "Donde el agua trabaja" के साथ क्या हुआ?
Infobae के अनुसार, जिसने स्पेन के El País के विश्लेषण का हवाला दिया, Pangram 4.1 उपकरण ने David Silva Rojas के लगभग 26,000 शब्दों के पुरस्कार विजेता उपन्यास के 99% को कृत्रिम बुद्धिमत्ता को जिम्मेदार ठहराया। Proceso ने रिपोर्ट किया कि प्रकाशक Almadía ने तब किताब के स्पेनिश प्रस्तुति कार्यक्रमों को स्थगित कर दिया जब तक वह जांच नहीं करता।
एआई डिटेक्टर कितने सटीक हैं?
विक्रेता बहुत कम गलत सकारात्मक दरें प्रकाशित करते हैं — Pangram अपने नवीनतम अंग्रेजी-भाषा बेंचमार्क के लिए लगभग 1 में 24,000 उद्धृत करता है, और GPTZero लगभग 99.9% समग्र सटीकता का दावा करता है — लेकिन Wikipedia पर उद्धृत स्वतंत्र समीक्षाओं ने पाया कि Pangram किसी विशिष्ट लेखक की शैली की नकल करने वाले एआई पाठ का 10% से अधिक याद करता है, और OpenAI ने 2023 में अपने क्लासिफायर को "कम सटीकता दर" के लिए सेवानिवृत्त किया, TechCrunch के अनुसार।
क्या एआई डिटेक्टर किसी वास्तविक व्यक्ति के लेखन के बारे में गलत हो सकता है?
हाँ। Wikipedia पर Pangram की प्रविष्टि उपन्यासकार Mia Ballard जैसे मामलों का दस्तावेज करती है, जिसका लेखन 78% एआई के रूप में फ्लैग किया गया था, और Wall Street Journal संपादक James Taranto, जिन्होंने तीन कर्मचारी लेखों को फ्लैग करने के बाद उपकरण को 'मानहानि की मशीन' कहा — हालांकि उन लेखकों में से दो ने कहा कि उन्होंने अपने ड्राफ्ट को संशोधित करने में मदद के लिए केवल एआई का उपयोग किया था।
क्या कोई एआई डिटेक्टर को पास कर सकता है, या गलत तरीके से फ्लैग किया जा सकता है?
Wikipedia द्वारा उद्धृत स्वतंत्र मूल्यांकन ने पाया कि Pangram ने एक विशिष्ट मानव लेखक की नकल करने के लिए डिज़ाइन किए गए एआई-लिखित मार्ग के लगभग 10.1% को याद किया, और डिटेक्टर आम तौर पर छोटे ग्रंथों, गैर-मूल अंग्रेजी लेखन, या 'ह्यूमनाइज़र' उपकरणों द्वारा परिवर्तित पाठ पर कम विश्वसनीयता से प्रदर्शन करते हैं, Pangram और GPTZero के अनुसार।

दुनिया इसे कैसे बता रही है

स्रोत

  1. Infobae — Una novela premiada con 20.000 euros resultó estar escrita en un 99% por inteligencia artificial
  2. Proceso — Almadía suspende presentación de novela premiada tras sospechas de uso de inteligencia artificial
  3. TechCrunch — OpenAI scuttles AI-written text detector over 'low rate of accuracy'
  4. Pangram — All About False Positives in AI Detectors
  5. GPTZero — AI Detector homepage and methodology
  6. Wikipedia — Pangram (AI detector)

यह लेख कृत्रिम बुद्धिमत्ता से तैयार किया गया और प्रकाशन से पहले स्वचालित स्रोत-जाँच से गुज़रा। कोई गलती दिखे तो सुधार का अनुरोध करें। सुधार या उत्तर का अनुरोध करें · हम कैसे काम करते हैं

संबंधित लेख