ChatGPT یا Claude جیسے chatbots کے پیچھے اہم تکنیک کیا ہے؟

وہ ایک transformer neural network استعمال کرتے ہیں جو ٹیکسٹ کو ٹوکنز میں توڑتا ہے، self-attention کے ذریعے ہر ٹوکن کو ہر دوسرے ٹوکن سے کیسے relate کرتا ہے اس کا حساب لگاتا ہے، اور پھر جواب بنانے کے لیے ایک بار میں ایک ٹوکن کی پیش گوئی کرتا ہے، IBM کی transformer explainer کے مطابق۔

ایک AI تصویر generator ایک ٹیکسٹ prompt کو تصویر میں کیسے بدلتا ہے؟

Google کے Imagen جیسے models میں، ایک frozen language model prompt کو ایک عددی embedding میں تبدیل کرتا ہے، اور ایک diffusion model random noise سے شروع کرتا ہے اور بار بار اس embedding کے ذریعے راہنمائی کے ساتھ شور کو ہٹاتا ہے جب تک کہ ایک تصویر تشکیل نہ پائے، پھر اسے مزید diffusion steps میں upscale کرتا ہے، Google کے research page کے مطابق۔

کیا ایک AI ماڈل ٹیکسٹ لکھتے وقت آگے کی منصوبہ بندی کرتا ہے، یا صرف اگلے لفظ کا اندازہ لگاتا ہے؟

Anthropic کی interpretability research نے کچھ cases میں محدود forward planning کے شواہد تلاش کیے — مثال کے طور پر، ماڈل شاعری کی لائن کے باقی حصے کو تخلیق کرنے سے پہلے ایک target rhyming word کو فعال کرتا ہے — اگرچہ ماڈل اب بھی آخر کار ٹوکن کے لحاظ سے ٹیکسٹ generate کرتا ہے۔

AI کوڈ جنریشن AI ٹیکسٹ جنریشن سے کیسے مختلف ہے؟

دونوں transformer-based next-token prediction پر منحصر ہیں، لیکن GitHub Copilot جیسے coding assistants پروگرامنگ کوڈ پر تربیت یافتہ ہیں اور ڈیولپر کی files اور repository سے اضافی سیاق و سباق حاصل کرتے ہیں، اور ایک 'agentic' mode میں کام کر سکتے ہیں جو multi-step کوڈنگ tasks کو plan اور execute کرتا ہے، GitHub کی documentation کے مطابق۔

کیا Claude کی اپنی reasoning کی وضاحت اس سے مماثل ہے جو اس نے حقیقت میں compute کیا؟

ہمیشہ نہیں۔ Anthropic نے رپورٹ کیا کہ جب Claude سے اس سے پوچھا گیا کہ یہ ایک math problem کو کیسے حل کیا، اس کے stated method سے اندرونی computational steps میں فرق تھا جو researchers نے trace کیے، جو ماڈل کے self-report اور اس کے actual process کے درمیان ایک خلا کو ظاہر کرتا ہے۔

یہ زبان مشین کے ذریعے ترجمہ کی گئی ہے اور کسی انسان نے اس کا جائزہ نہیں لیا۔

مصنوعی ذہانت · مضمون

جنریٹیو AI کیسے کام کرتا ہے: ٹیکسٹ، تصویر، اور کوڈ جنریشن کی وضاحت

اشاعت: 23 اکتوبر، 2026 کو 12:04 PM UTC

مختصراً

جنریٹیو AI کے اوزار جیسے چیٹ بٹس، تصویر جنریٹر، اور کوڈنگ اسسٹنٹ سب ایک ان پٹ کو عددی ڈیٹا میں تبدیل کرتے ہیں، پھر بہت بڑے تربیتی ڈیٹاسیٹ سے سیکھے گئے نمونوں کا استعمال کرتے ہوئے مرحلہ وار آؤٹ پٹ بناتے ہیں۔ ٹیکسٹ اور کوڈ کے اوزار ٹرانسفارمر ماڈلز استعمال کرتے ہوئے ایک ترتیب میں اگلے ٹوکن کی پیش گوئی کرتے ہیں، جبکہ Imagen جیسے تصویری اوزار بتدریج ایک بے ترتیب نمونے سے شور کو ہٹاتے ہیں جب تک کہ ایک ایسی تصویر نہ بن جائے جو ٹیکسٹ کی درخواست سے مماثل ہو۔

یہ نسخہ اصل متن (English) کا مشینی ترجمہ ہے۔ اصل متن پڑھیں

اگرچہ بہت مختلف آؤٹ پٹ کا احاطہ کرتے ہوئے، ٹیکسٹ جنریٹر، تصویر جنریٹر، اور کوڈنگ اسسٹنٹ ایک مشترک بنیاد رکھتے ہیں: ایک نیورل نیٹ ورک جو بڑی مقدار میں ڈیٹا پر تربیت یافتہ ہے شماریاتی نمونے سیکھتا ہے، پھر ان نمونوں کو استعمال کرتے ہوئے نیا مواد ٹکڑے کے ٹکڑے بناتا ہے بجائے اس کے کہ کوئی محفوظ جواب تلاش کریں۔

ٹیکسٹ جنریشن: اگلے ٹوکن کی پیش گوئی

بڑے لینگویج ماڈلز جیسے ChatBots کے پیچھے موجود سب سے پہلے ٹیکسٹ کو چھوٹی اکائیوں میں توڑتے ہیں جنہیں ٹوکنز کہا جاتا ہے، جو مکمل الفاظ یا الفاظ کے حصے ہو سکتے ہیں، IBM کی ٹرانسفارمر ماڈلز پر تکنیکی وضاحت کے مطابق، جو 28 مارچ 2025 کو شائع ہوئی۔ ہر ٹوکن کو ایک عددی ویکٹر میں تبدیل کیا جاتا ہے، جسے embedding کہا جاتا ہے، جو اس کے معنی کی نمائندگی کرتا ہے، اور ایک دوسرا ویکٹر شامل کیا جاتا ہے ٹوکن کی جملے میں پوزیشن کو encode کرنے کے لیے۔

بنیادی میکانزم self-attention ہے: ہر ٹوکن کے لیے، ماڈل اس بات کا حساب لگاتا ہے کہ ان پٹ میں ہر دوسرا ٹوکن کتنا متعلقہ ہے، IBM کے مطابق ہر ٹوکن کے لیے تین سیکھے گئے ویکٹرز استعمال کرتے ہوئے — ایک query، ایک key، اور ایک value۔ یہ ماڈل کو ٹیکسٹ میں کہیں سے بھی سیاق و سباق کو وزن دینے دیتا ہے ایک ساتھ، بجائے اس کے کہ پرانی architecture کی طرح لفظ کے لفظ پڑھیں۔ Decoder-only transformers، جیسے GPT جیسے ماڈلز کے پیچھے کی architecture، پھر ٹیکسٹ کو autoregressively generate کرتے ہیں — ایک وقت میں ایک ٹوکن کی پیش گوئی کرتے ہوئے اور اگلے کی پیش گوئی کرنے کے لیے اس ٹوکن کو واپس ڈالتے ہیں، IBM وضاحت کرتا ہے۔

Anthropic کی تحقیق، اس کی سائٹ پر 'Tracing the thoughts of a large language model' کے طور پر شائع، نے دریافت کیا کہ یہ next-token process باہر سے جیسا نظر آتا ہے اس سے زیادہ منصوبہ بندی میں شامل ہو سکتی ہے۔ ایک تجربے میں، جب اس کے Claude ماڈل نے شاعری کی ایک لائن لکھ رہے تھے، تو یہ ایک ممکنہ rhyming word کے مطابق اندرونی خصوصیات کو فعال کیا جس سے پہلے لائن کے باقی حصے کو لکھا، پھر اس لفظ تک پہنچنے کے لیے اپنی الفاظ کو ایڈجسٹ کیا۔ ایک اور ٹیسٹ میں، ماڈل نے ایک multi-step سوال کا جواب دیا — جیسے Dallas والے ریاست کے دارالحکومت کی شناخت — پہلے 'Texas' کے لیے ایک اندرونی نمائندگی کو فعال کرکے اور پھر الگ سے 'Austin' کو حاصل کرتے ہوئے، سیدھے جواب پر پہنچنے کی بجائے، Anthropic نے رپورٹ کیا۔

Anthropic نے ماڈل کی اندرونی computation اور اس کی اپنی اس computation کی تفصیل کے درمیان ایک خلا بھی دریافت کیا: جب اس سے پوچھا گیا کہ یہ ایک math calculation انجام دیتا ہے، Claude نے ایک معیاری طریقہ بیان کیا، لیکن اندرونی عمل جو Anthropic نے trace کیا ایک مختلف، parallel approach استعمال کیا، ایک rough estimate کو ایک الگ final digit tracking کے ساتھ یکجا کرتے ہوئے۔

تصویر جنریشن: مرحلہ وار شور کو ہٹانا

زیادہ تر جدید text-to-image اوزار، جن میں Google کا Imagen شامل ہے، diffusion models استعمال کرتے ہیں، جو ٹیکسٹ جنریشن کے برعکس سمت میں کام کرتے ہیں۔ Google کے Imagen research page کے مطابق، سسٹم ایک frozen large language model — T5-XXL — سے شروع ہوتا ہے جو ٹیکسٹ prompt کو ایک embedding میں تبدیل کرتا ہے، ٹیکسٹ ماڈلز میں استعمال ہونے والی ایک ہی قسم کی عددی نمائندگی۔ Google کے محققین نوٹ کرتے ہیں کہ اس ٹیکسٹ encoder کے سائز کو بڑھانا تصویر کے معیار کو ماڈل کے تصویر پیدا کرنے والے حصے کو بڑھانے سے زیادہ بہتر بنایا۔

ایک diffusion ماڈل پھر اس ٹیکسٹ embedding کو لے کر ایک چھوٹی 64x64 pixel تصویر generate کرتا ہے۔ یہ random visual noise سے شروع کرکے اور ایک iterative 'denoising' process چلا کر ایسا کرتا ہے، جہاں ماڈل بار بار شور کو ایک حصہ ہٹانے کی پیش گوئی اور ہٹانا کرتا ہے، ٹیکسٹ embedding کے ذریعے راہنمائی کے ساتھ، جب تک کہ ایک مربوط low-resolution تصویر باقی نہ رہے، Google کی تفصیل کے مطابق۔ تصویر کو پھر دو مزید diffusion models استعمال کرتے ہوئے بڑھایا جاتا ہے، پہلے 256x256 pixels تک اور پھر 1024x1024 pixels تک، ایک cascade جسے Google super-resolution diffusion کہتا ہے۔

ماڈل کو ٹیکسٹ prompt کو زیادہ قریبی طریقے سے follow کرنے دینے کے لیے، Google کے research page کے مطابق Imagen 'ایک نیا thresholding diffusion sampler' متعارف کراتا ہے، جو classifier-free guidance کے طور پر جانے جانے والے ایک طریقے کے ساتھ استعمال ہوتا ہے، جو ایک ساتھ بہت بڑے guidance weights کے استعمال کو فعال کرتے ہیں۔ Google نے رپورٹ کیا کہ انسانی تشخیص میں، raters نے Imagen کے output کو ٹیکسٹ prompt کے مماثل ہونے کے لیے حقیقی reference photos کے برابر سمجھا، اور اسے دوسری text-to-image systems، DALL-E 2 بھی شامل، پر ترجیح دی، DrawBench نام کے ایک benchmark پر جو Google نے بنایا۔

کوڈ جنریشن: سیاق و سباق سے بنی تجاویز

GitHub Copilot جیسے AI کوڈنگ اسسٹنٹ عام ٹیکسٹ کے لیے استعمال ہونے والے ایک ہی ٹرانسفارمر پر مبنی، next-token prediction approach لاگو کرتے ہیں، لیکن خاص طور پر پروگرامنگ کوڈ پر تربیت یافتہ اور ایک ڈیولپر کی workspace میں ڈھالے ہوئے۔ GitHub کی اپنی documentation کے مطابق، Copilot دو اہم modes میں کام کرتا ہے: ایک 'assistive' mode جو کوڈ کی تجاویز دیتا ہے، سوالات کے جوابات دیتا ہے، یا جیسے جیسے ایک ڈیولپر ٹائپ کرتا ہے کوڈ کی وضاحت کرتا ہے، اور ایک 'agentic' mode جہاں ایک ڈیولپر ایک مقصد بیان کرتا ہے اور Copilot متعدد مراحل کے ذریعے کام کرتا ہے — repository کی تحقیق، ایک منصوبہ کی تجویز، files میں ترمیم، اور ایک task کو مکمل کرنے کے لیے tools چلاتا ہے۔

GitHub کی documentation بتاتی ہے کہ Copilot کی صلاحیتیں customizations تک بھی پھیلی ہوئی ہیں، جیسے repository-specific instructions اور external tool integrations، اور یہ کہ کچھ خصوصیات asynchronously کام کرتی ہیں، ایک coding agent کو مسلسل نگرانی کے بغیر تبدیلیاں کرنے اور pull requests کھولنے یا اپڈیٹ کرنے کی اجازت دیتے ہوئے۔ GitHub اپنی موجودہ documentation کے مطابق عوامی طور پر ہر model کو یا context کو کیسے منتخب اور underlying model کو pass کیا جاتا ہے اس کی مکمل تکنیکی تفصیلات بیان نہیں کرتا۔

تینوں کا موازنہ

آؤٹ پٹ قسم کے لحاظ سے جنریٹیو AI
آؤٹ پٹ قسم	بنیادی تکنیک	ماڈل کہاں سے شروع ہوتا ہے	مثال
ٹیکسٹ	Autoregressive transformer؛ اگلے ٹوکن کی پیش گوئی کرتا ہے	ٹوکنز کی ایک ترتیب (prompt)	GPT یا Claude جیسے ماڈلز پر مبنی Chatbots
تصویر	Diffusion؛ ٹیکسٹ embedding کے ذریعے راہنمائی کے ساتھ شور کو ہٹاتا ہے	Random visual noise اور ایک ٹیکسٹ embedding	Google Imagen
کوڈ	Autoregressive transformer کوڈ پر تربیت یافتہ، workspace سیاق و سباق کے ساتھ	کوڈ ٹوکنز اور آس پاس کی files/context	GitHub Copilot

تمام تین approaches تربیتی ڈیٹا پر منحصر ہیں: ماڈل کے اندرونی نمونے وہ ٹیکسٹ، تصویریں، یا کوڈ سے آتے ہیں جس کا یہ تربیت کے دوران سامنا تھا، اور اس کا output ایک نیا generated sequence یا image ہے جو ان سیکھے گئے نمونوں کے ذریعے شکل دیا گیا ہے بجائے کسی single training example کی copy کے۔

ہم دکھاتے ہیں کہ بڑے pretrained frozen ٹیکسٹ encoders text-to-image task کے لیے بہت موثر ہیں۔

— Google Imagen research team

سوالات

ChatGPT یا Claude جیسے chatbots کے پیچھے اہم تکنیک کیا ہے؟: وہ ایک transformer neural network استعمال کرتے ہیں جو ٹیکسٹ کو ٹوکنز میں توڑتا ہے، self-attention کے ذریعے ہر ٹوکن کو ہر دوسرے ٹوکن سے کیسے relate کرتا ہے اس کا حساب لگاتا ہے، اور پھر جواب بنانے کے لیے ایک بار میں ایک ٹوکن کی پیش گوئی کرتا ہے، IBM کی transformer explainer کے مطابق۔
ایک AI تصویر generator ایک ٹیکسٹ prompt کو تصویر میں کیسے بدلتا ہے؟: Google کے Imagen جیسے models میں، ایک frozen language model prompt کو ایک عددی embedding میں تبدیل کرتا ہے، اور ایک diffusion model random noise سے شروع کرتا ہے اور بار بار اس embedding کے ذریعے راہنمائی کے ساتھ شور کو ہٹاتا ہے جب تک کہ ایک تصویر تشکیل نہ پائے، پھر اسے مزید diffusion steps میں upscale کرتا ہے، Google کے research page کے مطابق۔
کیا ایک AI ماڈل ٹیکسٹ لکھتے وقت آگے کی منصوبہ بندی کرتا ہے، یا صرف اگلے لفظ کا اندازہ لگاتا ہے؟: Anthropic کی interpretability research نے کچھ cases میں محدود forward planning کے شواہد تلاش کیے — مثال کے طور پر، ماڈل شاعری کی لائن کے باقی حصے کو تخلیق کرنے سے پہلے ایک target rhyming word کو فعال کرتا ہے — اگرچہ ماڈل اب بھی آخر کار ٹوکن کے لحاظ سے ٹیکسٹ generate کرتا ہے۔
AI کوڈ جنریشن AI ٹیکسٹ جنریشن سے کیسے مختلف ہے؟: دونوں transformer-based next-token prediction پر منحصر ہیں، لیکن GitHub Copilot جیسے coding assistants پروگرامنگ کوڈ پر تربیت یافتہ ہیں اور ڈیولپر کی files اور repository سے اضافی سیاق و سباق حاصل کرتے ہیں، اور ایک 'agentic' mode میں کام کر سکتے ہیں جو multi-step کوڈنگ tasks کو plan اور execute کرتا ہے، GitHub کی documentation کے مطابق۔
کیا Claude کی اپنی reasoning کی وضاحت اس سے مماثل ہے جو اس نے حقیقت میں compute کیا؟: ہمیشہ نہیں۔ Anthropic نے رپورٹ کیا کہ جب Claude سے اس سے پوچھا گیا کہ یہ ایک math problem کو کیسے حل کیا، اس کے stated method سے اندرونی computational steps میں فرق تھا جو researchers نے trace کیے، جو ماڈل کے self-report اور اس کے actual process کے درمیان ایک خلا کو ظاہر کرتا ہے۔

ذرائع

یہ تحریر مصنوعی ذہانت سے تیار کی گئی اور اشاعت سے پہلے ذرائع کی خودکار جانچ سے گزری۔ اگر آپ کو کوئی غلطی نظر آئے تو تصحیح کی درخواست کریں۔ تصحیح یا جواب کی درخواست · ہم کیسے کام کرتے ہیں