AI भाषा मॉडल गलत उत्तर क्यों देते हैं: गलत उत्तरों के पीछे का शोध

एक AI hallucination एक ऐसा कथन है जो एक भाषा मॉडल द्वारा उत्पादित होता है जो प्रवाहपूर्ण और आत्मविश्वास से भरपूर लगता है लेकिन तथ्यात्मक रूप से गलत है — एक नकली उद्धरण, एक गलत तारीख, एक ऐसा व्यक्ति जो मौजूद ही नहीं है। सितंबर 2025 में प्रकाशित एक शोध पत्र में, OpenAI के शोधकर्ता hallucinations को इन शब्दों में वर्णित करते हैं और कहते हैं कि वर्तमान प्रशिक्षण और मूल्यांकन विधियों के साथ, समस्या को पूरी तरह से हल नहीं किया जा सकता है।

प्रशिक्षण प्रक्रिया कैसे त्रुटियां पैदा करती है

OpenAI के पेपर के अनुसार, arXiv पर पोस्ट किया गया, व्याख्या का एक हिस्सा इसमें निहित है कि मॉडल को कैसे पूर्व प्रशिक्षित किया जाता है। पूर्व प्रशिक्षण के दौरान, एक मॉडल केवल प्रवाहपूर्ण पाठ से सीखता है, बिना ऐसे लेबल के जो यह चिह्नित करें कि कौन से कथन सत्य या असत्य हैं। इसे एक सांख्यिकीय उद्देश्य (क्रॉस-एंट्रॉपी हानि) के साथ प्रशिक्षित किया जाता है जो संभावित अगले शब्दों की भविष्यवाणी को पुरस्कृत करता है, तथ्यों को सत्यापित करने के लिए नहीं।

शोधकर्ता दिखाते हैं कि यह ऐसे डेटा पर भी त्रुटियां पैदा करता है जिसमें स्वयं कोई गलतियां नहीं हैं। उन तथ्यों के लिए जो प्रशिक्षण डेटा में केवल एक बार दिखाई देते हैं — शोधकर्ता किसी व्यक्ति के जन्मदिन का उदाहरण देते हैं — पेपर का विश्लेषण पाता है कि उन तथ्यों पर hallucination की दर प्रशिक्षण सेट में ऐसी "सिंगलटन" तथ्यों के हिस्से जितनी अधिक होनी चाहिए। दूसरे शब्दों में, यदि कोई तथ्य केवल एक बार उल्लेख किया गया था, तो मॉडल गणितीय रूप से इसे गलत समझने की संभावना है। पेपर कुछ त्रुटियों को अपरिहार्य कहता है यहां तक कि उन मॉडलों के लिए भी जिनके पास कंप्यूटिंग पावर पर कोई सीमा नहीं है, क्योंकि कुछ कार्य वे हैं जिन्हें यह कम्प्यूटेशनली intractable के रूप में वर्णित करता है।

ग्रेडिंग सिस्टम अनुमान लगाने को क्यों पुरस्कृत करता है

पेपर का दूसरा तर्क इससे संबंधित है कि मॉडल को पूर्व प्रशिक्षण के बाद कैसे मूल्यांकन किया जाता है। यह एक भाषा मॉडल की तुलना एक बहु-विकल्प परीक्षा का सामना करने वाले छात्र से करता है: एक खाली उत्तर शून्य स्कोर करता है, इसलिए अनुमान लगाना हमेशा सांख्यिकीय रूप से बेहतर रणनीति है जब प्रत्येक गलत उत्तर सवाल को खाली छोड़ने जितना खर्च करता है। OpenAI के शोधकर्ताओं ने दस व्यापक रूप से उपयोग किए जाने वाले AI बेंचमार्कों की जांच की — GPQA, MMLU-Pro और SWE-bench सहित — और पाया कि उनमें से नौ बाइनरी ग्रेडिंग का उपयोग करते हैं जो "I don't know" जैसे उत्तर को कोई क्रेडिट नहीं देता, गलत उत्तर जैसा ही स्कोर।

यह स्कोरिंग पैटर्न, पेपर का तर्क है, मॉडलों को अनुमान लगाते रहने की ओर धकेलता है बजाय अनिश्चितता स्वीकार करने के, क्योंकि आत्मविश्वास से अनुमान लगाना औसतन ईमानदार संरक्षण से बेहतर स्कोर करता है। TechCrunch, पेपर की रिपोर्टिंग में, इसे ऐसे मूल्यांकन के रूप में वर्णित करता है जो गलत प्रोत्साहन तैयार करते हैं भाग्य से सही अनुमानों को उसी तरह पुरस्कृत करके जैसे वास्तव में अच्छी तरह समर्थित उत्तर।

तर्क मॉडल कम नहीं, बल्कि अधिक hallucinate करते हैं

यह प्रवृत्ति पुराने मॉडलों तक सीमित नहीं है। OpenAI के अपने सिस्टम कार्ड को इसके o3 और o4-mini तर्क मॉडलों के लिए, अप्रैल 2025 में जारी किए गए और TechCrunch द्वारा रिपोर्ट किए गए, यह पाया गया कि hallucination दरें नए तर्क सिस्टमों के साथ बढ़ीं कंपनी के आंतरिक PersonQA बेंचमार्क पर, जो लोगों के बारे में तथ्यात्मक प्रश्नों का परीक्षण करता है।

OpenAI ने कहा कि यह समझने के लिए अधिक शोध की आवश्यकता है कि hallucinations क्यों बढ़ते हैं जैसे तर्क मॉडलों का स्केल होता है, यह नोट करते हुए कि ये मॉडलों कुल मिलाकर अधिक दावे करते हैं, जो अधिक सही और अधिक गलत बयान पैदा करता है। नील चौधरी, AI शोध समूह Transluce में एक शोधकर्ता, TechCrunch द्वारा उद्धृत, एक परिकल्पना दी: o-श्रृंखला तर्क मॉडलों को प्रशिक्षित करने के लिए उपयोग की जाने वाली सुदृढ़ीकरण सीखने का प्रकार शायद उन समस्याओं को बढ़ाता है जो मानक प्रशिक्षण तकनीकें आमतौर पर कम कर देती हैं।

OpenAI इसे ठीक करने का क्या प्रस्ताव देता है

सितंबर 2025 के पेपर में बेंचमार्क को स्कोर करने के तरीके को बदलने का प्रस्ताव है बजाय अलग hallucination परीक्षण जोड़ने के। इसकी सुझाई गई मरम्मत है ग्रेडिंग निर्देशों में स्पष्ट आत्मविश्वास थ्रेसहोल्ड बनाना — उदाहरण के लिए, एक मॉडल को सवाल का जवाब देने के लिए कहना केवल अगर वह 75% से अधिक आत्मविश्वास के साथ हो, गलत अनुमान के साथ स्कोर अधिक खर्च होता है। सिद्धांत में, यह abstention को गणितीय रूप से बेहतर पसंद बनाता है जब कोई मॉडल अनिश्चित हो, बजाय वर्तमान स्कोरिंग सिस्टमों में जो बुरा है।

पेपर स्पष्ट है कि यह दृष्टिकोण hallucinations को कम करेगा, समाप्त नहीं करेगा। क्योंकि कुछ त्रुटियां सांख्यिकीय रूप से दुर्लभ तथ्यों या ऐसे कार्यों से उत्पन्न होती हैं जिन्हें शोधकर्ता कम्प्यूटेशनली intractable के रूप में वर्णित करते हैं, लेखकों का निष्कर्ष है कि शून्य hallucinations वाला एक भाषा मॉडल वर्तमान विधियों से प्राप्त नहीं है।