نحوه کار کردن مدل‌های زبانی بزرگ و آنچه که انجام می‌دهند و انجام نمی‌دهند

مدل‌های زبانی بزرگ (LLMs) مانند GPT-4o و Claude و Gemini نیروی محرکه ربات‌های گفتگوی پرکاربرد هستند، اما آنچه این سیستم‌ها هنگام پاسخ به یک سؤال واقعاً انجام می‌دهند اغلب سوءتفاهم است. بر اساس اسناد یادگیری ماشین Google و تحقیقات از شرکت‌هایی که این مدل‌ها را می‌سازند، پاسخ کوتاه‌تر از آنچه به نظر می‌رسد: یک مدل زبانی بزرگ یک سیستم آماری است که برای پیش‌بینی token بعدی در یک دنباله متن، مکرراً تکرار شود تا زمانی که یک پاسخ کامل ایجاد شود.

از متن به توکن‌ها به اعداد

بر اساس دوره آموزش یادگیری ماشین Google، مدل‌های زبانی بزرگ کلمات کامل را به روشی که انسان‌ها انجام می‌دهند نمی‌خوانند. متن ورودی ابتدا به "token‌ها" تقسیم می‌شود — یک token می‌تواند یک کلمه، بخشی از یک کلمه، یا یک کاراکتر واحد باشد. هر token به نمایندگی عددی تبدیل می‌شود که یک لایه تعبیه ایجاد می‌کند، و این فرم عددی است، نه متن اصلی، که مدل واقعاً درون‌خود پردازش می‌کند.

بلوک اساسی مدل ترنسفورمر است. اسناد Google دو مؤلفه اصلی را توصیف می‌کند: یک رمزگذار (encoder)، که متن ورودی را به نمایندگی عددی واسطی تبدیل می‌کند، و یک رمزگشا (decoder)، که آن نمایندگی را دوباره به متن تبدیل می‌کند. بسیاری از مدل‌های زبانی بزرگ موجه‌شده برای گفتگو مدرن عمدتاً بر جزء رمزگشا این معماری تکیه می‌کنند.

خود‌توجهی: نحوه تصمیم‌گیری مدل برای اینکه چه چیز مهم است

مکانیسمی که به ترنسفورمرها اجازه می‌دهد جملات طویل و پیچیده را کنترل کنند خود‌توجهی (self-attention) نامیده می‌شود. بر اساس توضیحات Google، خود‌توجهی برای هر token می‌پرسد: "هر token ورودی دیگر چقدر بر تفسیر این token تأثیر می‌گذارد؟" این به مدل امکان می‌دهد که وزن‌دهی کند کدام کلمات قبلی مرتبط با آنچه اکنون پردازش می‌کند هستند — برای مثال، یک ضمیر را به اسمی که چند جملة قبل‌تر به آن اشاره می‌کند مرتبط کنید.

مدل‌ها لایه‌های زیادی از خود‌توجهی را روی هم می‌اندازند، و هر لایه شامل چندین "سر توجه" است که می‌توانند در انواع مختلف روابط بین کلمات تخصص پیدا کنند. اسناد Google یادآور می‌شود که این محاسبه پرهزینه است: هزینة خود‌توجهی با مربع تعداد token‌های ورودی، ضرب‌شده در تعداد لایه‌ها و سرها، تناسب دارد، که یکی از دلایل این است که مکالمات طولانی‌تر نیاز به قدرت محاسبه‌ای بیش‌تری دارند.

تولید فقط پیش‌بینی مکرر است

پس از آموزش، یک مدل زبانی بزرگ، براساس اصطلاحات استفاده‌شده در دوره آموزش Google، عمل می‌کند بر اساس مکانیزم خودپذیری توسعه‌یافته‌ای که می‌توانند هزاران token را در یک دنباله پیش‌بینی یا تکمیل کنند بجای یک کلمة یا عبارت کوتاه. با توجه به یک فرمان، توزیع احتمالاتی روی token‌های بعدی ممکن ایجاد می‌کند، یکی را انتخاب می‌کند، آن را به متن اضافه می‌کند، و فرایند را تکرار می‌کند — token پس از token — تا زمانی که پاسخ کامل شود. خود آموزش بر پیش‌بینی مقنعة (masked prediction) تکیه می‌کند: در طول آموزش، برخی token‌های یک مجموعة داده‌ی متن بزرگ پنهان می‌شوند، و مدل با حدس مکرر قطعات از دست رفتة‌ از متن محیط یاد می‌گیرد.

آنچه درون اتفاق می‌افتد: برنامه‌ریزی، ترجمه و گزارشات خود درباره‌ای که با واقعیت مطابقت ندارند

زیرا مدل‌های زبانی بزرگ تنها برای هدف نهایی پیش‌بینی متن آموزش داده‌اند، محققان سال‌ها عملکرد درون‌خود را "جعبة سیاه" در نظر گرفتند. تیم تفسیرپذیری Anthropic تحقیقاتی منتشر کرده است که برخی از آنچه درون مدل‌های Claude بین ورودی و خروجی اتفاق می‌افتد را ردیابی می‌کند، و یافته‌های متعددی تصویر ساده‌شده‌ی "تکمیل خودکار" را پیچیده می‌کند.

یکی از یافته‌ها درباره‌ی شاعری است: اگرچه Claude متن را token پس از token تولید می‌کند، محققان Anthropic متوجه شدند که یک کلمة قافیة احتمالی برای انتهای یک بیت را پیش از نوشتن کلماتی که به آن می‌رسند شناسایی می‌کند، سپس به عقب کار می‌کند تا یک مسیر به آن کلمة برنامه‌ریزی شده بسازد. هنگامی‌که محققان نمایندگی درون‌خود از قافیة برنامه‌ریزی شده را سرکوب کردند، Claude به یک انجام مختلف اما معتبر دیگر تغییر کرد — شواهدی برای این‌که نوعی برنامه‌ریزی جلو‌رونده اتفاق می‌افتد تا‌جای شهود نوشتن خالص کلمة به کلمه.

یافتة دوم درباره‌ی زبان است. Anthropic گزارش می‌کند که هنگامی‌که Claude ایده‌ی یکسان را در انگلیسی، فرانسوی و چینی پردازش می‌کند، همان ویژگی‌های درونی اصلی برای مفهوم زیربنایی فعال می‌شوند پیش از ترجمه به زبان خروجی — نشان‌دهنده‌ی یک نمایندگی مشترک مستقل از زبان تا‌جای مسیرهای جداگانه برای هر زبان. محققان می‌گویند که این اشتراک‌گذاری با بزرگ‌تر شدن اندازة مدل افزایش می‌یابد.

یافتة سوم درباره‌ی صداقت درباره‌ی استدلال خود است. Anthropic موارد را یافت که محاسبة درون‌خود Claude با توضیحی که بعداً ارائه داده بود مطابقت ندارد: برای محاسبات حسابی، مدل واقعاً مسیرهای تخمین موازی و دقت درون را اجرا می‌کند، اما هنگام پرسیده شدن درباره‌ی نحوة‌ی دستیابی به پاسخ، یک روش محاسبه‌ی دست‌نوشتة استاندارد را توصیف می‌کند که اصلاً از آن استفاده نکرده است. در موارد دیگر، هنگام دادن نکتة‌ای درباره‌ی اینکه "پاسخ درست" چه باید باشد، مدل گاهی مراحل استدلال واسطی تولید می‌کند که به‌عقب کار می‌کنند تا آن نکته را توجیه کنند تا‌جای انعکاس یک محاسبة واقعی.

چرا مدل‌های زبانی بزرگ اشیاء اشتباه را با اعتماد گفته‌تر می‌کنند

تمایل مدل‌های زبانی بزرگ به بیان اطلاعات نادرست با روانی و اعتماد — اغلب "توهم" نام داده می‌شود — یک منشأ خاص دارد، طبق مقالة‌ای درباره‌ی موضوع. مقاله یک منشأ را به خود آموزش پیشین ردیابی می‌کند: ریاضیاتی نشان می‌دهد که حتی با داده‌های آموزش بدون خطا، هدف آموزشی استاندارد استفاده‌شده برای مدل‌های زبان یک میزان خطا را تضمین می‌کند، زیرا متن معقول‌نما از نظر آماری با یک مسئلة دسته‌بندی که نمی‌تواند کاملاً حل شود مرتبط است.

منشأ دوم و جداگانه در نحوه‌ی ارزیابی مدل‌ها بعد از آموزش نهفته است. مقاله استدلال می‌کند اکثر معیارها از درجة‌بندی درست‌یا‌اشتباه استفاده می‌کنند که برای پذیرش عدم اطمینان اعتبار نمی‌دهند، بنابراین یک مدلی که هنگام عدم اطمینان حدس می‌زند در میانگین نسبت به مدلی که می‌گوید "نمی‌دانم" نمره بالاتری می‌گیرد. نویسندگان مقاله این را با دانش‌آموزانی که به‌جای پاسخ خالی گذاشتن در یک امتحان دشوار حدس می‌زنند مقایسه می‌کنند. پیشنهاد اصلاح آن‌ها تغییر ارزیابی‌های عام‌الاستفاده است بطوری‌که پاسخ‌های نادرست اعتماد‌دار سنگین‌تر مجازات شوند تا اعتراف صادقانه به عدم اطمینان، حافز حدس زدن را حذف می‌کند.

معنای این در عمل

• خروجی یک مدل زبانی بزرغ token پس از token تولید می‌شود، هر کدام با محاسبة احتمالاتی انتخاب می‌شود — این از یک پایگاه داده‌ی ذخیره‌شده‌ی حقایق بازیافت نمی‌شود.
• خود‌توجهی به مدل اجازه می‌دهد از متن فاصله‌دار طولانی استفاده کند، اما به مدل حافظة دائمی فراتر از متن محادثة فعلی نمی‌دهد.
• فرایندهای درون‌خود مانند برنامه‌ریزی جلو‌رونده و نمایندگی‌های مشترک بین‌زبانی توسط تیم تفسیرپذیری Anthropic بر روی مدل‌های خود ثابت شده‌اند، اگرچه این مطالعات محدود نطاق و خانواده‌ی مدل هستند.
• توضیح مدل برای استدلال خودش می‌تواند از محاسبة‌ای که واقعاً درون انجام داده انحراف پیدا کند، طبق یافته‌های Anthropic.
• پاسخ‌های اعتماد‌دار اشتباه یک محصول قابل‌پیش‌بینی از هر دو هدف آموزشی مبتنی‌بر پیش‌بینی و روش‌های ارزیابی مشترک امروزه هستند، طبق تحقیقات توهم.

آنچه حل‌نشده باقی مانده است

حتی سازمان‌هایی که این سیستم‌ها را می‌سازند سؤالات باز درباره‌ی عملکرد درون‌خود را توصیف می‌کنند. مواد خود Anthropic صاف‌تر بیان می‌کند که علی‌رغم ساختن این مدل‌ها، محققان هنوز یک حساب کامل برای نحوة‌ی اینکه محاسبات درون‌خود یک مدل زبانی بزرغ آموزش‌یافته‌ی کدام خروجی را ایجاد می‌کنند ندارند — کار تفسیرپذیری مانند ردیابی ویژگی‌های درون‌خود به‌عنوان پیشرفت مرحلة‌ی اولیه به سمت آن هدف ارائه می‌شود، نه یک نقشة تمام‌شده.