ذہن نیٹ ورکس کیسے سیکھتے ہیں: ChatGPT اور Gemini کے پیچھے کی ریاضیات

ہر بار جب کوئی chatbot سوال کا جواب دیتا ہے یا کوئی فوٹو ایپ چہرہ شناخت کرتی ہے، ایک ذہن نیٹ ورک ایک سیکھنے کے عمل کو چلاتا ہے جو بنیادی طور پر ایک جیسے قدم کی پیروی کرتا ہے، قطع نظر کام سے۔ IBM کے مطابق، یہ عمل دو منسلک تکنیکوں پر منحصر ہے: backpropagation، جو یہ معلوم کرتا ہے کہ ہر اندرونی پیرامیٹر نے غلطی میں کتنا حصہ ڈالا، اور gradient descent، اپٹیمائزیشن طریقہ جو ان حسابات کو پیرامیٹرز درست کرنے کے لیے استعمال کرتا ہے۔

ذہن نیٹ ورک واقعی کیا ہے

Stanford کے Institute for Human-Centered AI (HAI) ایک ذہن نیٹ ورک کو ایک حسابی ماڈل کے طور پر بیان کرتے ہیں جو انسانی دماغ کی ساخت سے متاثر ہے، مصنوعی 'neurons' کی آپس میں جڑی ہوئی تہوں سے تعمیر کیا گیا ہے جو معلومات کو سنبھالتے اور منتقل کرتے ہیں۔ ہر neuron عددی inputs لیتا ہے، انہیں وزن نام کی ایڈجسٹ کی جا سکنے والی قدروں سے ضرب دیتا ہے، ایک bias term شامل کرتا ہے، اور نتیجہ کو ایک غیر لکیری activation function کے ذریعے گزارتا ہے اور پھر اسے اگلی تہ کو بھیجتا ہے، IBM کی ساخت کی تفصیل کے مطابق۔ Stanford HAI نوٹ کرتے ہیں کہ یہ تہ والی ساخت ہی ہے جو ذہن نیٹ ورکس کو بڑی مقدار میں ڈیٹا سے نمونے نکالنے کی اجازت دیتی ہے، deep learning کی بنیاد تشکیل دیتے ہوئے۔

مرحلہ ایک: Forward Pass

IBM وضاحت دیتے ہیں کہ تربیت وزن اور biases کو random قدروں پر سیٹ کرنے سے شروع ہوتی ہے۔ 'Forward pass' کے دوران، input ڈیٹا نیٹ ورک کے ذریعے تہ بہ تہ حرکت کرتا ہے: ہر neuron اپنے weighted sum کو معلوم کرتا ہے، اپنے activation function کو لاگو کرتا ہے، اور output کو آگے بھیجتا ہے، جب تک کہ آخری تہ پیش گوئی تیار کرتی ہے۔ اس ابتدائی مرحلے میں، کیونکہ وزن random ہیں، یہ پیش گوئی بنیادی طور پر ایک اندازہ ہے۔

مرحلہ دو: غلطی کو ماپنا

نیٹ ورک پھر اپنی پیش گوئی کو صحیح جواب سے ایک loss function استعمال کرکے موازنہ کرتا ہے، ایک فارمولا جو معلوم کرتا ہے کہ output کتنا دور تھا، IBM کے مطابق۔ مختلف کام مختلف فارمولے استعمال کرتے ہیں — mean squared error اعداد کی پیش گوئی کے لیے عام ہے، جبکہ cross-entropy تصنیف کام کے لیے استعمال ہوتا ہے جیسے تصاویر کو زمرہ میں الگ کرنا۔

مرحلہ تین: Backpropagation ذمہ داری کو trace کرتا ہے

'Backward pass' وہ جگہ ہے جہاں سیکھنا ہوتا ہے۔ IBM backpropagation کو output تہ سے input تہ کی طرف کام کرتے ہوئے بیان کرتے ہیں، یہ معلوم کرنے کے لیے کہ ہر انفرادی وزن نے کل غلطی میں کتنا حصہ ڈالا، ایک calculus تکنیک استعمال کرتے ہوئے جسے chain rule کہا جاتا ہے۔ نتیجہ ایک gradient ہے: قدریں کا ایک مجموعہ، ہر وزن اور bias کے لیے ایک، یہ بتاتے ہوئے کہ وہ تبدیلی کا سمت اور سائز کیا ہے جو غلطی کو کم کرے گا۔

IBM اس طریقہ کی کمال کی طرف اشارہ کرتے ہیں: ایک نیٹ ورک کے لیے جس کے پاس ایک ملین وزن ہوں، ہر پیرامیٹر کو انفرادی طور پر ٹرائل اور غلطی سے جانچنا ایک ملین سے زیادہ الگ forward passes کی ضرورت ہوگی۔ Backpropagation صرف دو passes میں وہی معلومات حاصل کرتا ہے — ایک forward، ایک backward۔

مرحلہ چار: Gradient Descent وزن کو اپڈیٹ کرتا ہے

ایک بار جب gradient معلوم ہو، gradient descent ہر وزن کو ایک چھوٹے قدم میں اس سمت میں حرکت دیتا ہے جو غلطی کو کم کرتا ہے، IBM وضاحت دیتے ہیں۔ اس قدم کا سائز 'learning rate' سے کنٹرول ہوتا ہے: ایک زیادہ learning rate تربیت کو تیز کرتا ہے لیکن بہترین قدروں سے آگے نکل جانے کا خطرہ ہے، جبکہ ایک کم rate زیادہ درست ہے لیکن convergence میں سست ہے۔ چار مراحل — forward pass، loss calculation، backward pass، weight update — بار بار دہرائے جاتے ہیں، اکثر لاکھوں مثالوں میں، جب تک کہ loss بمعنیٰ طریقے سے کم ہونا بند نہ ہو۔

Lab تکنیک سے ChatGPT اور Gemini تک

بڑے زبان کے ماڈل اسی backpropagation-اور-gradient-descent سائیکل کو بہت بڑے پیمانے پر لاگو کرتے ہیں، دو الگ مراحل میں۔ پہلا، pretraining، ماڈل کو بے عنوان متن کی بھاری مقدار کے ساتھ بے نقاب کرتا ہے — corpora جس میں سینکڑوں ارب tokens ہیں، RBC Borealis کے مطابق — اور بار بار اسے سے پوچھتا ہے کہ سیریز میں اگلا لفظ کیا ہوگا۔ RBC Borealis سے ایک تحقیق blog یہ foundation model کو بنیادی طور پر ایک نیٹ ورک کے طور پر بیان کرتا ہے جو 'ایک partially مکمل input string میں اگلے لفظ کی پیش گوئی' کرنے کے لیے تربیت یافتہ ہے، جو اسے grammar، حقائق اور عام نمونے سکھاتا ہے لیکن اپنے آپ میں یہ ایک معتبر معاون نہیں بناتا۔

دوسرا مرحلہ، fine-tuning، pretrained نیٹ ورک کو مخصوص رویہ کے لیے موافق کرتا ہے۔ RBC Borealis تین عام طریقوں کی تفصیل دیتے ہیں: انسانی لکھے ہوئے مثال جوابات پر supervised fine-tuning؛ انسانی رائے سے تقویت سیکھنا (RLHF)، جس میں ایک الگ reward model انسانی ترجیحات پر تربیت یافتہ مزید weight updates کی رہنمائی کرتا ہے؛ اور نئے طریقے جیسے direct preference optimisation، جو الگ reward model کو چھوڑ دیتے ہیں لیکن پھر بھی backpropagation پر منحصر ہوتے ہیں۔ یہ fine-tuning مرحلہ ہی ہے جو ایک عام next-word predictor کو ایک نظام میں تبدیل کرتا ہے جو instructions کی پیروی کرتا ہے اور مخصوص درخواستوں سے انکار کرتا ہے، بجائے صرف متن کو جاری رکھنے کے جو ہر طریقے سے statistically ممکن ہے۔

یہ طریقہ کیوں اہم ہے

کیونکہ pretraining اور fine-tuning دونوں ایک جیسے بنیادی backpropagation-اور-gradient-descent loop پر منحصر ہیں، اس core تکنیک میں بہتریاں — تیز hardware، بہتر loss functions، زیادہ موثر optimisation — ہر downstream application کو ایک ساتھ اثر دیتی ہیں، تصویری شناخت سے لے کر گفتگو کے معاونین تک۔ Stanford HAI نوٹ کرتے ہیں کہ ذہن نیٹ ورکس اب facial recognition، voice assistants اور autonomous vehicles میں استعمال ہونے والے deep learning نظام کی بنیاد تشکیل دیتے ہیں، یہ سب اوپر بیان کردہ ایک جیسے چار قدمی سائیکل کی تبدیلیوں کے ذریعے تربیت حاصل کرتے ہیں۔