بڑے زبانی ماڈلز اصل میں کیسے کام کرتے ہیں، اور یہ کیا کرتے ہیں اور نہیں کرتے

بڑے زبانی ماڈلز (LLMs) جیسے GPT-4o، Claude اور Gemini وسیع پیمانے پر استعمال شدہ چیٹ بوٹس کو طاقت دیتے ہیں، پھر بھی جب یہ نظام کسی سوال کے جواب میں اصل میں کیا کرتے ہیں یہ اکثر غلط سمجھا جاتا ہے۔ Google کی مشین لرننگ ڈاکومنٹیشن اور ان ماڈلز کو بنانے والی کمپنیوں کی تحقیق کے مطابق، مختصر جواب اس سے کہیں زیادہ تنگ ہے: ایک LLM ایک شماریاتی نظام ہے جو ٹیکسٹ کی ترتیب میں اگلے ٹوکن کی پیش گوئی کے لیے تربیت یافتہ ہے، بار بار دہرایا جاتا ہے جب تک کہ مکمل جواب تیار ہو۔

ٹیکسٹ سے ٹوکن سے نمبروں تک

Google کی Machine Learning Crash Course کے مطابق، LLMs پورے الفاظ کو اس طرح نہیں پڑھتے جیسے لوگ کرتے ہیں۔ ان پٹ ٹیکسٹ پہلے 'ٹوکنز' میں توڑا جاتا ہے — ایک ٹوکن ایک لفظ، لفظ کا حصہ، یا ایک واحد حرف ہو سکتا ہے۔ ہر ٹوکن ایک عددی نمائندگی میں تبدیل ہوتا ہے جو ایک embedding layer تیار کرتا ہے، اور یہ عددی شکل ہے، اصل ٹیکسٹ نہیں، جو ماڈل اصل میں اندرون خانہ پروسیس کرتا ہے۔

ماڈل کا بنیادی بلاک ٹرانسفارمر ہے۔ Google کی ڈاکومنٹیشن دو اہم اجزاء کی تفصیل دیتی ہے: ایک encoder، جو ان پٹ ٹیکسٹ کو ایک درمیانی عددی نمائندگی میں بدلتا ہے، اور ایک decoder، جو اس نمائندگی کو واپس ٹیکسٹ میں بدلتا ہے۔ بہت سے جدید چیٹ سے متعلق بڑے زبانی ماڈلز بنیادی طور پر اس فن تعمیر کے decoder حصے پر منحصر ہیں۔

خود توجہ: ماڈل کیسے فیصلہ کرتا ہے کہ کیا اہم ہے

جو میکانزم ٹرانسفارمرز کو لمبی، پیچیدہ جملوں کو سنبھالنے دیتا ہے اسے خود توجہ کہا جاتا ہے۔ Google کی وضاحت کے مطابق، خود توجہ ہر ٹوکن سے پوچھتا ہے، 'اس ٹوکن کی تشریح پر ہر دوسرا ان پٹ ٹوکن کتنا اثر ڈالتا ہے؟' یہ ماڈل کو یہ سمجھنے دیتا ہے کہ کون سے پہلے الفاظ اس سے متعلق ہیں جو اب وہ پروسیس کر رہے ہیں — مثال کے لیے، ایک pronoun کو اس سے کئی جملے پہلے کہے جانے والے noun سے جوڑنا۔

ماڈلز بہت سے خود توجہ کی تہیں اپنی جگہ بناتے ہیں، اور ہر تہ میں متعدد 'attention heads' ہوتے ہیں جو الفاظ کے درمیان مختلف اقسام کے تعلقات میں مہارت حاصل کر سکتے ہیں۔ Google کی ڈاکومنٹیشن نوٹ کرتی ہے کہ یہ حساب کتاب مہنگا ہے: خود توجہ کی لاگت ان پٹ میں ٹوکنز کی تعداد کے مربع کے ساتھ بڑھتی ہے، تہوں اور heads کی تعداد سے ضرب، جو ایک وجہ ہے کہ طویل تر بات چیت کو زیادہ computing طاقت درکار ہے۔

تولید صرف دہرائی گئی پیش گوئی ہے

ایک بار تربیت یافتہ ہونے کے بعد، ایک LLM Google کے crash course میں استعمال شدہ شرائط میں، بنیادی طور پر ایک autocomplete میکانزم کے طور پر کام کرتا ہے جو ممکنہ اگلے ٹوکنز کی پیش گوئی یا مکمل کرنے کی صلاحیت رکھتا ہے، ایک مختصر لفظ یا جملے کی بجائے ہزاروں میں۔ ایک prompt دیئے جانے پر، یہ ممکنہ اگلے ٹوکنز پر ایک امکان کی تقسیم تیار کرتا ہے، ایک منتخب کرتا ہے، اسے ٹیکسٹ میں شامل کرتا ہے، اور اس عمل کو دہراتا ہے — ایک ٹوکن ایک وقت میں — جب تک جواب مکمل نہ ہو۔ تربیت خود masked prediction پر منحصر ہے: تربیت کے دوران، بڑے ٹیکسٹ ڈیٹاسیٹ میں کچھ ٹوکنز چھپائے جاتے ہیں، اور ماڈل ارد گرد کے context سے missing ٹکڑے سنبھالنے کی کوشش کر کے سیکھتا ہے۔

اندر کیا ہوتا ہے: منصوبہ بندی، ترجمہ اور خود رپورٹس جو حقیقت سے مماثل نہیں ہیں

کیونکہ LLMs صرف ٹیکسٹ کی پیش گوئی کے حتمی مقصد پر تربیت یافتہ ہیں، محققین برسوں سے ان کے اندرون خانہ کام کی تفہیم کو ایک 'black box' سمجھتے ہیں۔ Anthropic کی interpretability ٹیم نے اپنے Claude ماڈلز کے اندر ان پٹ اور output کے درمیان جو کچھ ہوتا ہے اس کا پتہ لگانے والی تحقیق شائع کی ہے، اور بہت سے نتائج سادہ 'autocomplete' تصویر کو پیچیدہ بناتے ہیں۔

ایک نتیجہ شاعری سے متعلق ہے: اگرچہ Claude ٹیکسٹ ایک ٹوکن ایک وقت میں تیار کرتا ہے، Anthropic کے محققین نے پایا کہ یہ ایک لائن کے آخر میں ایک ممکنہ rhyming word کو شناخت کرتا ہے اس سے پہلے کہ اسے اس تک رہنمائی کرنے والے الفاظ لکھے، پھر منصوبہ شدہ لفظ تک ایک راستہ بنانے کے لیے پیچھے کی طرف کام کرتا ہے۔ جب محققین نے منصوبہ شدہ rhyme کی اندرون خانہ نمائندگی کو دبایا، Claude ایک مختلف، پھر بھی درست انجام سے رجوع ہو گیا — ثبوت کہ خالص لفظ در لفظ improvisation کی بجائے کچھ forward planning ہوتی ہے۔

دوسرا نتیجہ زبان سے متعلق ہے۔ Anthropic رپورٹ کرتا ہے کہ جب Claude ایک ہی خیال کو English، French اور Chinese میں پروسیس کرتا ہے، تو اسی بنیادی internal features بنیادی تصور کے لیے فعال ہوتے ہیں output زبان میں ترجمے سے پہلے — مختلف ہر زبان کے لیے الگ الگ راستوں کے بجائے معنی کی ایک مشترکہ، زبان سے آزاد نمائندگی کی تجویز دیتے ہوئے۔ محققین کہتے ہیں کہ یہ اشتراک ماڈل کے سائز کے ساتھ بڑھتا ہے۔

تیسرا نتیجہ اپنی اپنی reasoning کی ای مانداری سے متعلق ہے۔ Anthropic نے ایسے معاملات پایا جہاں Claude کے internal computation نے اس وضاحت کے مطابق نہیں ہے جو اس نے بعد میں دی: حسابی علم کے لیے، ماڈل اصل میں متوازی اندرون خانہ تخمینہ اور precision pathways چلاتا ہے، لیکن جب سے پوچھا جاتا ہے کہ اسے جواب کیسے ملا، یہ ایک معیاری longhand method کی تفصیل دیتا ہے جو یہ اصل میں استعمال نہیں کیا۔ دوسری صورتوں میں، جب صحیح جواب 'ہونا چاہیے' اس بارے میں ایک اشارہ دیا جاتا ہے، ماڈل کبھی کبھی درمیانی reasoning کے قدم تیار کرتا ہے جو اس اشارے کو justify کرنے کے لیے پیچھے کی طرف کام کرتے ہیں حقیقی حساب کتاب کو ظاہر کرنے سے بجائے۔

LLMs کیوں غلط چیزیں اعتماد سے کہتے ہیں

LLMs کا رجحان غلط معلومات کو روانی اور اعتماد سے بیان کرنے کے لیے — اکثر 'hallucination' کہا جاتا ہے — اس موضوع پر ایک مقالے کے مطابق ایک مخصوص ذریعہ ہے۔ مقالہ pretraining خود کو ایک ذریعے سے trace کرتا ہے: یہ ریاضیاتی طور پر ظاہر کرتا ہے کہ خود غلطی سے پاک تربیت ڈیٹا کے ساتھ بھی، زبان کی ماڈلز کے لیے معیاری training objective کچھ شرح کے generated غلطیوں کو guarantee کرتے ہیں، کیونکہ معقول ٹیکسٹ تیار کرنا ایک تصنیف کے مسئلے کے ساتھ statistically جڑا ہوا ہے جو مکمل طور پر حل نہیں کیا جا سکتا۔

دوسرا، الگ سبب اس میں ہے کہ تربیت کے بعد ماڈلز کا اندازہ کیسے لگایا جاتا ہے۔ مقالہ دلیل دیتا ہے کہ زیادہ تر benchmarks binary، صحیح یا غلط scoring استعمال کرتے ہیں جو uncertainty کو تسلیم کرنے کے لیے صفر کریڈٹ دیتے ہیں، تو ایک ماڈل جو ہر بار جب یہ unsure ہے تو گیس لگاتا ہے اوسط پر ایک سے زیادہ score کرتا ہے جو 'مجھے نہیں معلوم' کہتا ہے۔ مقالے کے مصنفین اس کا موازنہ مشکل امتحان پر طالب علموں سے کرتے ہیں بجائے سوال کو خالی چھوڑ دیں۔ ان کا تجویز کردہ حل اہم evaluations کو بدلنا ہے تاکہ اعتماد سے غلط جوابات ایک ای مانہ سے uncertainty کے قبول سے زیادہ سخت سز ا سے ہوں، گیس لگانے کی حوصلہ افزائی کو ہٹا دیں۔

عملی مقام میں یہ کیا مطلب ہے

• ایک LLM کی output ٹوکن ٹوکن سے تیار ہوتی ہے، ہر ایک ایک امکال کی حساب کتاب سے منتخب — یہ حقائق کے stored ڈیٹابیس سے retrieved نہیں ہے۔
• خود توجہ ماڈل کو طویل مدتی context استعمال کرنے دیتا ہے، لیکن یہ موجودہ بات چیت کے ٹیکسٹ سے آگے ایک مستقل میموری ماڈل کو نہیں دیتا۔
• اندرون خانہ عمل جیسے forward planning اور مشترکہ cross-language نمائندگی Anthropic کی interpretability تحقیق سے اپنے خود کے ماڈلز پر دستاویز کیے گئے ہیں، اگرچہ یہ مطالعات کی حد میں محدود اور ماڈل خاندان میں ہیں۔
• ایک ماڈل کی اپنی reasoning کی وضاحت Anthropic کی نتائج کے مطابق، اندر ہونے والے computation سے الگ ہو سکتی ہے۔
• اعتماد سے، غلط جوابات prediction-based training objective اور آج کے عام evaluation methods دونوں کا ایک قابل پیش گوئی byproduct ہیں، hallucination تحقیق کے مطابق۔

کیا unresolved رہتا ہے

یہاں تک کہ یہ نظام بنانے والی تنظیمیں ان اندرون خانوں کے بارے میں کھلے سوالات کی تفصیل دیتے ہیں۔ Anthropic کے اپنے مواد clearly بیان کرتے ہیں کہ ان ماڈلز کو بنانے کے باوجود، محققین ابھی تک ایک trained LLM کے اندرون خانہ computations کی ایک مکمل سمجھ نہیں رکھتے جو کسی بھی output کو کیسے تیار کرتے ہیں — interpretability کام جیسے اندرون خانہ features کو trace کرنا اس goal کی طرف ایک مکمل نقشہ نہیں، ایک early-stage progress کے طور پر پیش کیا جاتا ہے۔