AI چیٹ بوٹس جیسے ChatGPT اور Claude کیسے کام کرتے ہیں - تفصیل

لاکھوں لوگ ہر روز ChatGPT، Claude، Gemini یا اسی طرح کے اوزار میں سوالات درج کرتے ہیں، لیکن ان کے پیچھے کا سافٹ ویئر اکثر ایک پراسرار 'black box' کہا جاتا ہے۔ Google کے Machine Learning Crash Course اور سائنس کے مصنف Timothy B. Lee کی تشریح کے مطابق جو Understanding AI میں شائع ہوئی، بنیادی طریقہ کار اس سے سادہ تر ہے: ایک بڑے زبان کا ماڈل (LLM) ایک neural network ہے جو ٹیکسٹ کے اگلے چھوٹے سے ٹکڑے کی پیش گوئی کے لیے تربیت یافتہ ہے، جسے token کہا جاتا ہے، اس کے پیش کے تمام کچھ کو دیکھتے ہوئے۔

الفاظ سے نمبروں تک: tokens اور embeddings

ایک LLM متن کو process کرنے سے پہلے، یہ ایک prompt کو tokens میں توڑتا ہے — یونٹ جو ایک پورا لفظ، لفظ کا حصہ، یا ایک واحد حرف ہو سکتے ہیں، Google کی developer documentation کے مطابق۔ ہر token کو ایک vector میں تبدیل کیا جاتا ہے، نمبروں کی ایک لمبی فہرست جسے embedding کہا جاتا ہے، جو token کے معنی کے بارے میں کچھ حاصل کرنے کا مقصد رکھتا ہے۔ Understanding AI کی تشریح اس کا موازنہ جغرافیائی coordinates سے کرتی ہے: اسی معنی والے الفاظ ایک بہت بڑی numerical space میں ایک دوسرے کے قریب آتے ہیں، بالکل اسی طرح جیسے قریب بی شہر اسی قسم کے latitude اور longitude کا اشتراک کرتے ہیں۔

توجہ: ماڈل context کو کیسے ٹریک کرتا ہے

تقریباً تمام جدید LLMs کے پیچھے کا ڈھانچہ Transformer کہلاتا ہے۔ Google کا crash course بیان کرتا ہے کہ ایک Transformer self-attention کے نام کے ایک طریقے پر انحصار کرتا ہے، جو یہ حساب کرتا ہے کہ متن کے ہر token کو دوسرے ہر token کی تشریح کو کتنا متاثر کرنا چاہیے۔ Understanding AI اس کو query اور key vectors سے واضح کرتا ہے: ہر لفظ مؤثر طریقے سے دوسرے الفاظ کی اقسام کی ایک checklist بناتا ہے جو یہ تلاش کر رہا ہے، اور توجہ انہیں sentence میں ملاتی ہے تاکہ ماڈل یہ سمجھ سکے کہ کون سی noun ایک pronoun جیسے 'it' سے تعلق رکھتا ہے۔

اس قدم کے بعد feed-forward layers آتے ہیں جو ہر لفظ کی updated representation کو process کرتے ہیں اور ماڈل کو اگلے token کی پیش گوئی کی طرف دھکیلتے ہیں، Understanding AI نوٹ کرتا ہے۔ کیونکہ توجہ ہر token کو فاصلے سے قطع نظر ہر دوسرے token کو براہ راست دیکھنے دیتا ہے، Transformers لمبے، پیچیدہ حصوں کو sequential models سے زیادہ مطابقت کے ساتھ handle کرتے ہیں۔

تربیت: اربوں قیاسیں، کوئی انسانی labels نہیں

LLMs زیادہ تر unsupervised learning سے masked یا next-token prediction کے ذریعے تربیت یافتہ ہوتے ہیں، جس کا مطلب ہے کہ نظام اپنی تربیت کے بیشتر حصے میں ہاتھ سے لکھے گئے 'صحیح جوابات' نہیں دیے جاتے۔ بجائے، Google کی documentation ایک ایسے عمل کو بیان کرتی ہے جس میں اصل متن میں tokens کو چھپایا جاتا ہے اور ماڈل کو انہیں سمجھنا ہوتا ہے؛ Understanding AI اسی خیال کو اگلے لفظ کی پیش گوئی کے لحاظ سے بڑے متن کے مجموعے پر بیان کرتا ہے جو کتابوں، ویب سائٹس اور دوسری sources سے scrape کیے گئے ہیں۔ Network کے اندر Parameters — Understanding AI GPT-3 کے 175 billion کا حوالہ دیتا ہے، تقریباً 500 billion الفاظ پر تربیت یافتہ — شروع میں بے ترتیب طریقے سے سیٹ ہوتے ہیں اور آہستہ آہستہ adjust کیے جاتے ہیں، پیش گوئی کے لحاظ سے، جب تک ماڈل کی قیاسیں حقیقی متن سے مطابقت نہیں رکھتیں۔

ایک خام ماڈل کو مفید معاون میں تبدیل کرنا

ایک ماڈل جو صرف اگلے token کی پیش گوئی کے لیے تربیت یافتہ ہے وہ خودکار طور پر ایک chatbot نہیں ہے جو ہدایات کو مہذب طریقے سے follow کرتا ہے۔ Hugging Face کی Reinforcement Learning from Human Feedback (RLHF) کی تکنیکی تشریح OpenAI جیسی کمپنیوں کے base ماڈل کو معاون میں تبدیل کرنے کے لیے استعمال کرنے والے اضافی قدموں کو بیان کرتی ہے۔ پہلے، pretrained ماڈل کو مثالی conversations پر supervised fine-tuning کے ذریعے refine کیا جا سکتا ہے۔ دوسرے، انسانی reviewers ایک جیسے prompt کے multiple ماڈل responses کو rank کرتے ہیں، اور یہ rankings ایک الگ reward ماڈل کو تربیت دیتے ہیں جو آؤٹ پٹس کو ایسے score کرنے کے لیے سیکھتا ہے جیسے کوئی انسان کرے۔

تیسرے مرحلے میں، اصل ماڈل کو reinforcement learning استعمال کرتے ہوئے adjust کیا جاتا ہے — عام طور پر Proximal Policy Optimization — تاکہ یہ وہ responses تیار کرے جو reward ماڈل اچھی طرح score کرتا ہے، جبکہ ایک mathematical penalty اسے اپنے اصل رویے سے اتنا دور ہٹنے سے روکتا ہے کہ یہ خالص طور پر reward score کو کھیل کرنے کے لیے بکواس تیار کرنے لگے، Hugging Face کے طریقے کی تشریح کے مطابق۔

چیٹ بوٹس ابھی بھی چیزیں کیوں گھڑتے ہیں

OpenAI محققین کی طرف سے شائع ایک paper، 'Why Language Models Hallucinate،' جو arXiv پر دستیاب ہے، یہ دلیل دیتا ہے کہ نقل شدہ جوابات محض ایک bug نہیں ہیں جسے patch کیا جائے۔ یہ paper hallucinations کو دو منسلک وجوہات کی طرف منسوب کرتا ہے: pretraining کے دوران ماڈلز کو معقول لگنے والے continuations کی پیش گوئی کرنے سے سیکھنے کا ایک statistical byproduct، اور طریقہ جس سے ماڈلز کے بعد میں جانچ کی جاتی ہے۔ زیادہ تر benchmarks اور leaderboards ایک جواب کو صحیح یا غلط score کرتے ہیں اور uncertainty کے اعتراف — ایک 'I don't know' — کو غلط جواب کے طور پر سلوک کرتے ہیں، یہ paper بیان کرتا ہے۔ یہ setup uncertainty کے بارے میں ایماندارانہ سے زیادہ اعتماد والا قیاس کو reward کرتا ہے، جو ماڈلز کو روانی، specific-sounding statements تیار کرتے رہنے پر دھکیلتا ہے یہاں تک کہ جب ان کے پاس ان کے لیے قابل اعتماد بنیاد نہ ہو۔

ماڈل اصل میں کیا کر رہا ہے، ایک جملے میں

یہ سب جمع کریں، تو ان sources میں بیان کردہ عمل یہ ہے: ایک chatbot ایک prompt کو tokens میں تبدیل کرتا ہے، انہیں numerical embeddings میں تبدیل کرتا ہے، self-attention layers استعمال کرتا ہے تاکہ یہ وزن کرے کہ ہر token ہر دوسرے سے کیسے تعلق رکھتا ہے، اور بار بار سب سے زیادہ امکان والے اگلے token کی پیش گوئی کرتا ہے — ایک عمل جو pretraining کے بعد انسانی تاثر سے شکل پاتا ہے جس کو ان پیش گوئیوں کو خام internet text کے بجائے مفید، instruction-following جوابات سے ملتا جلتا بنانے کے لیے ڈیزائن کیا گیا ہے۔