लाखों लोग हर दिन ChatGPT, Claude, Gemini या समान उपकरणों में प्रश्न दर्ज करते हैं, लेकिन उनके पीछे का सॉफ्टवेयर अक्सर एक रहस्यमय 'ब्लैक बॉक्स' के रूप में वर्णित किया जाता है। Google के Machine Learning Crash Course और विज्ञान लेखक Timothy B. Lee द्वारा Understanding AI में प्रकाशित एक व्याख्या के अनुसार, मूल तंत्र इससे सरल है: एक बड़ा भाषा मॉडल (LLM) एक तंत्रिका नेटवर्क है जो पाठ के अगले छोटे हिस्से, जिसे token कहा जाता है, की भविष्यवाणी करने के लिए प्रशिक्षित है, यह सब कुछ देखते हुए जो इससे पहले आया था।
शब्दों से संख्याओं तक: tokens और embeddings
इससे पहले कि LLM पाठ को प्रक्रिया कर सके, यह एक prompt को tokens में तोड़ता है — इकाइयाँ जो एक पूरा शब्द, एक शब्द का हिस्सा, या एक एकल वर्ण हो सकते हैं, Google के डेवलपर डॉक्यूमेंटेशन के अनुसार। प्रत्येक token को एक वेक्टर में परिवर्तित किया जाता है, संख्याओं की एक लंबी सूची जिसे embedding कहा जाता है, जो token के अर्थ के बारे में कुछ पकड़ने का इरादा रखती है। Understanding AI की व्याख्या इसकी तुलना भौगोलिक निर्देशांकों से करती है: समान अर्थ वाले शब्द एक विशाल संख्यात्मक स्थान में एक दूसरे के पास स्थित होते हैं, बिल्कुल उसी तरह जैसे पास की शहरें समान अक्षांश और देशांतर साझा करते हैं।
ध्यान: मॉडल संदर्भ को कैसे ट्रैक करता है
लगभग सभी आधुनिक LLMs के पीछे की आर्किटेक्चर को Transformer कहा जाता है। Google का crash course बताता है कि Transformer self-attention नामक एक तंत्र पर निर्भर करता है, जो यह गणना करता है कि पाठ में प्रत्येक token को दूसरे प्रत्येक token की व्याख्या को कितना प्रभावित करना चाहिए। Understanding AI इसे query और key vectors के साथ दर्शाता है: प्रत्येक शब्द प्रभावी रूप से अन्य शब्दों के प्रकार की एक चेकलिस्ट बनाता है जिसे यह तलाश कर रहा है, और ध्यान उन्हें वाक्य में मेल करता है ताकि मॉडल यह काम कर सके, उदाहरण के लिए, यह समझ सके कि कौन सा संज्ञा एक सर्वनाम जैसे 'it' से संबंधित है।
इस चरण के बाद feed-forward layers आते हैं जो प्रत्येक शब्द के अद्यतन प्रतिनिधित्व को संसाधित करते हैं और मॉडल को अगले token की भविष्यवाणी की ओर धकेलते हैं, Understanding AI नोट करता है। क्योंकि ध्यान प्रत्येक token को दूरी की परवाह किए बिना हर दूसरे token को सीधे देखने देता है, Transformers लंबे, जटिल मार्ग को sequential मॉडलों की तुलना में अधिक लगातार handle करते हैं।
प्रशिक्षण: अरबों अनुमान, कोई मानव लेबल नहीं
LLMs ज्यादातर unsupervised learning के माध्यम से masked या next-token prediction पर प्रशिक्षित होते हैं, मतलब सिस्टम को अपने प्रशिक्षण का अधिकांश हाथ से लिखे गए 'सही उत्तर' नहीं दिए जाते। इसके बजाय, Google के डॉक्यूमेंटेशन एक प्रक्रिया का वर्णन करते हैं जिसमें वास्तविक पाठ में tokens को छिपाया जाता है और मॉडल को उनका अनुमान लगाना होता है; Understanding AI पुस्तकों, वेबसाइटों और अन्य स्रोतों से scraped किए गए पाठ के विशाल संग्रह में अगले शब्द की भविष्यवाणी के संदर्भ में एक ही विचार का वर्णन करता है। नेटवर्क के अंदर Parameters — Understanding AI GPT-3 के 175 बिलियन का संदर्भ देता है, लगभग 500 बिलियन शब्दों पर प्रशिक्षित — शुरुआत में बेतरतीब तरीके से सेट किए जाते हैं और धीरे-धीरे समायोजित किए जाते हैं, भविष्यवाणी दर भविष्यवाणी, जब तक मॉडल के अनुमान वास्तविक पाठ के साथ संरेखित नहीं होते।
एक कच्चे मॉडल को सहायक सहायक में बदलना
केवल अगले token की भविष्यवाणी के लिए प्रशिक्षित एक मॉडल स्वचालित रूप से एक chatbot नहीं है जो निर्देशों का विनम्रता से पालन करता है। Hugging Face की Reinforcement Learning from Human Feedback (RLHF) पर तकनीकी व्याख्या OpenAI जैसी कंपनियों द्वारा एक base मॉडल को सहायक में बदलने के लिए उपयोग किए जाने वाले अतिरिक्त चरणों का वर्णन करती है। पहले, pretrained मॉडल को उदाहरण बातचीत पर supervised fine-tuning के माध्यम से परिष्कृत किया जा सकता है। दूसरा, मानव reviewers एक ही prompt के multiple मॉडल responses को rank करते हैं, और ये rankings एक अलग reward मॉडल को प्रशिक्षित करते हैं जो आउटपुट को स्कोर करना सीखता है जैसा कि कोई व्यक्ति करेगा।
तीसरे चरण में, मूल मॉडल को reinforcement learning का उपयोग करके समायोजित किया जाता है — आमतौर पर Proximal Policy Optimization — ताकि यह ऐसे responses उत्पन्न करे जो reward मॉडल अच्छी तरह स्कोर करता है, जबकि एक गणितीय दंड इसे अपने मूल behavior से इतनी दूर बहाव करने से रोकता है कि यह विशुद्ध रूप से reward score को game करने के लिए nonsense उत्पन्न करना शुरू कर दे, Hugging Face की विधि के विवरण के अनुसार।
चैटबॉट्स अभी भी चीजें क्यों बनाते हैं
OpenAI शोधकर्ताओं द्वारा जारी एक paper, 'Why Language Models Hallucinate,' arXiv पर उपलब्ध है, यह तर्क देता है कि गढ़ी गई उत्तर केवल एक bug नहीं हैं जिन्हें patch किया जा सके। Paper hallucinations को दो जुड़ी हुई वजहों को जिम्मेदार ठहराता है: pretraining के दौरान मॉडल कैसे प्रशंसनीय-सुनवाई वाली continuations की भविष्यवाणी करना सीखते हैं, और तरीका जिससे मॉडलों का बाद में मूल्यांकन किया जाता है। अधिकांश benchmarks और leaderboards एक उत्तर को सही या गलत स्कोर करते हैं और uncertainty की स्वीकृति — एक 'I don't know' — को गलत उत्तर के रूप में मानते हैं, paper बताता है। वह सेटअप uncertainty के बारे में ईमानदारी से आत्मविश्वासपूर्ण अनुमान को reward करता है, जो मॉडलों को fluent, specific-sounding statements उत्पन्न करते रहने के लिए धकेलता है, भले ही उनके पास उनके लिए एक विश्वसनीय आधार न हो।
मॉडल वास्तव में क्या कर रहा है, एक वाक्य में
इन sources में वर्णित प्रक्रिया को एक साथ रखने से यह है: एक chatbot एक prompt को tokens में परिवर्तित करता है, उन्हें numerical embeddings में परिवर्तित करता है, self-attention layers का उपयोग करता है यह वजन करने के लिए कि प्रत्येक token अन्य सभी से कैसे संबंधित है, और बार-बार सबसे संभावित अगले token की भविष्यवाणी करता है — एक प्रक्रिया जो pretraining के बाद मानव feedback द्वारा आकार लेती है जिसे कच्चे internet पाठ के बजाय उन भविष्यवाणियों को सहायक, निर्देश-पालन उत्तरों जैसा दिखाने के लिए डिज़ाइन किया गया है।
AI चैटबॉट बनाने के मुख्य चरण| चरण | क्या होता है | स्रोत आधार |
|---|
| Tokenization | पाठ को शब्द या subword units में विभाजित किया जाता है और numeric IDs में परिवर्तित किया जाता है | Google ML Crash Course |
|---|
| Embedding | प्रत्येक token अर्थ को encode करते हुए संख्याओं का एक वेक्टर बन जाता है | Understanding AI |
|---|
| Self-attention | मॉडल यह गणना करता है कि प्रत्येक token को दूसरे प्रत्येक token को कितना प्रभावित करना चाहिए | Google ML Crash Course; Understanding AI |
|---|
| Pretraining | मॉडल विशाल पाठ corpora में masked या अगले tokens की भविष्यवाणी करता है (जैसे, GPT-3 के लिए ~500 बिलियन शब्द) | Understanding AI |
|---|
| Supervised fine-tuning | मॉडल को उदाहरण बातचीत दिखाई जाती है निर्देश-पालन behavior की नकल करने के लिए | Hugging Face RLHF explainer |
|---|
| Reward modeling | मानव समान prompt के multiple मॉडल outputs को rank करते हैं; rankings एक reward-scoring मॉडल को प्रशिक्षित करते हैं | Hugging Face RLHF explainer |
|---|
| RL policy optimization | मॉडल को reinforcement learning (जैसे, PPO) का उपयोग करके reward score को maximize करने के लिए समायोजित किया जाता है | Hugging Face RLHF explainer |
|---|
![The number of publications about Large Language Models by year grouped by publication types. The patent data for 2024 and 2025 are incomplete due to Patent Publication Delay. [ 1 ]](https://upload.wikimedia.org/wikipedia/commons/thumb/8/81/The_number_of_publications_about_Large_Language_Models_by_year.png/1280px-The_number_of_publications_about_Large_Language_Models_by_year.png)
