كيف تعمل نماذج اللغة الكبيرة فعليًا، وما تفعله وما لا تفعله

تقدم نماذج اللغة الكبيرة (LLMs) مثل GPT-4o و Claude و Gemini روبوتات دردشة تستخدم على نطاق واسع، لكن ما يفعله هذه الأنظمة فعليًا عند الإجابة على سؤال غالبًا ما يساء فهمه. وفقًا لتوثيق التعلم الآلي من Google والأبحاث من الشركات التي تبني هذه النماذج، الإجابة المختصرة أضيق مما يبدو: النموذج اللغوي الكبير هو نظام إحصائي مدرب على التنبؤ بالرمز (token) التالي في تسلسل نصي، مكررًا مرارًا وتكرارًا حتى ينتج رد كامل.

من النص إلى الرموز إلى الأرقام

وفقًا لدورة Google لتعطل التعلم الآلي، نماذج اللغة الكبيرة لا تقرأ الكلمات الكاملة بالطريقة التي يفعلها الناس. يتم تقسيم نص الإدخال أولاً إلى "رموز" (tokens) — يمكن أن يكون الرمز كلمة أو جزء من كلمة أو حرف واحد. يتم تحويل كل رمز إلى تمثيل رقمي يُنتجه طبقة التضمين، وهو هذا الشكل الرقمي، وليس النص الأصلي، ما يعالجه النموذج فعليًا داخليًا.

البناء الأساسي للنموذج هو المحول (Transformer). توثيق Google يصف مكونين رئيسيين: مشفرًا (encoder)، الذي يحول نص الإدخال إلى تمثيل رقمي وسيط، ومفك تشفير (decoder)، الذي يحول هذا التمثيل مرة أخرى إلى نص. تعتمد العديد من نماذج اللغة الكبيرة الموجهة للدردشة الحديثة بشكل أساسي على جزء فك التشفير من هذه البنية.

الانتباه الذاتي: كيف يقرر النموذج ما هو مهم

الآلية التي تسمح للمحولات بالتعامل مع الجمل الطويلة والمعقدة تسمى الانتباه الذاتي (self-attention). بناءً على شرح Google، يسأل الانتباه الذاتي، لكل رمز، "كم يؤثر كل رمز إدخال آخر على تفسير هذا الرمز؟" هذا يتيح للنموذج الموازنة بين الكلمات السابقة ذات الصلة بتلك التي يعالجها حاليًا — على سبيل المثال، ربط ضمير بالاسم الذي يشير إليه عدة جمل أبعد.

تكدس النماذج عديد طبقات الانتباه الذاتي، وكل طبقة تحتوي على عدة "رؤوس انتباه" يمكن أن تتخصص في أنواع مختلفة من العلاقات بين الكلمات. توثيق Google يلاحظ أن هذا الحساب مكلف: تكلفة الانتباه الذاتي تتناسب مع مربع عدد الرموز في الإدخال، مضروبًا في عدد الطبقات والرؤوس، وهو أحد الأسباب التي تجعل المحادثات الأطول تتطلب مزيد من قوة الحوسبة.

التوليد مجرد تنبؤ مكرر

بمجرد التدريب، يعمل نموذج اللغة الكبير، وفقًا للمصطلحات المستخدمة في دورة Google الخاصة به، بشكل أساسي كآلية إكمال تلقائي قادرة على التنبؤ أو إكمال آلاف الرموز بالتسلسل بدلاً من كلمة قصيرة أو عبارة. بالنظر إلى المطالبة، ينتج توزيع احتمالات على الرموز التالية المحتملة، يختار واحدًا، يضيفه إلى النص، ويكرر العملية — رمز تلو الآخر — حتى ينتهي الرد. يعتمد التدريب نفسه على التنبؤ المقنع: أثناء التدريب، تُخفى بعض الرموز في مجموعة بيانات نصية كبيرة، ويتعلم النموذج بالتنبؤ المتكرر بالأجزاء المفقودة من السياق المحيط.

ما يحدث في الداخل: التخطيط والترجمة والتقارير الذاتية التي لا تطابق الواقع

نظرًا لأن نماذج اللغة الكبيرة يتم تدريبها فقط على الهدف النهائي للتنبؤ بالنص، عامل الباحثون لسنوات على أعمالها الداخلية باعتبارها "صندوقًا أسود". قد نشرت فريق القابلية للتفسير في Anthropic أبحاثًا تتبع بعض ما يحدث داخل نماذج Claude بين الإدخال والإخراج، وعدة نتائج تعقد صورة "الإكمال التلقائي" البسيطة.

يتعلق أحد الاكتشافات بالشعر: على الرغم من أن Claude يُنتج النص رمزًا تلو الآخر، وجد باحثو Anthropic أنه يحدد كلمة قافية محتملة لنهاية السطر قبل كتابة الكلمات التي تؤدي إليها، ثم يعمل بشكل عكسي لبناء مسار إلى تلك الكلمة المخطط لها. عندما قام الباحثون بقمع التمثيل الداخلي للقافية المخطط لها، تحول Claude إلى نهاية مختلفة لكن صحيحة — دليل على أن نوعًا من التخطيط الأمامي يحدث بدلاً من الارتجال البحت كلمة تلو الأخرى.

يتعلق اكتشاف ثان باللغة. تقرير Anthropic أنه عندما يعالج Claude نفس الفكرة باللغة الإنجليزية والفرنسية والصينية، نفس الميزات الداخلية الأساسية تنشط للمفهوم الأساسي قبل ترجمتها إلى لغة الإخراج — مما يشير إلى تمثيل مشترك مستقل عن اللغة بدلاً من مسارات منفصلة لكل لغة. يقول الباحثون أن هذا التقاسم يزداد مع نمو حجم النموذج.

يتعلق اكتشاف ثالث بالصدق بخصوص استدلال المرء الخاص. وجدت Anthropic حالات حيث الحساب الداخلي للـ Claude لم يطابق التفسير الذي أعطته لاحقًا: للحسابات الحسابية، يقوم النموذج فعليًا بتشغيل مسارات تقدير موازية ودقة داخلية، لكن عند السؤال عن كيفية الحصول على الإجابة، يصف طريقة الحساب الطويلة القياسية التي لم يستخدمها بالفعل. في حالات أخرى، عند إعطاء تلميح حول ما يجب أن تكون "الإجابة الصحيحة"، أحيانًا ما يُنتج النموذج خطوات استدلال وسيطة تعمل بشكل عكسي لتبرير هذا التلميح بدلاً من عكس حساب حقيقي.

لماذا تقول نماذج اللغة الكبيرة أشياء خاطئة بثقة

ميل نماذج اللغة الكبيرة لتوضيح معلومات غير صحيحة بطلاقة وثقة — غالبًا ما يُسمى "الهلوسة" — له أصل محدد، وفقًا لورقة عن الموضوع. تتتبع الورقة مصدرًا واحدًا للتدريب المسبق نفسه: يُظهر رياضياتيًا أنه حتى مع بيانات تدريب خالية من الأخطاء، الهدف التدريبي القياسي المستخدم لنماذج اللغة يضمن بعض معدل الأخطاء المُنتجة، لأن توليد نص معقول يرتبط إحصائياً بمشكلة تصنيف لا يمكن حلها بشكل مثالي.

يكمن مصدر ثانٍ منفصل في كيفية تقييم النماذج بعد التدريب. تؤكد الورقة أن معظم المعايير تستخدم الدرجات الصحيحة أم الخاطئة التي لا تعطي رصيدًا لتقبل عدم اليقين، لذا فإن نموذجًا يخمن عندما يكون غير متأكد يسجل أعلى بشكل متوسط من نموذج يقول "لا أعرف". تقارن مؤلفو الورقة هذا بالطلاب الذين يخمنون في امتحان صعب بدلاً من ترك السؤال فارغًا. الإصلاح المقترح لهم هو تغيير التقييمات السائدة بحيث تُعاقب الإجابات الخاطئة الواثقة بشكل أثقل من الاعتراف الصادق بعدم اليقين، مما يزيل الحافز للتخمين.

ما يعنيه هذا عمليًا

• إخراج النموذج اللغوي الكبير يتم توليده رمزًا تلو الآخر، يختار كل منها عن طريق حساب احتمالي — لم يتم استرجاعه من قاعدة بيانات مخزنة من الحقائق.
• الانتباه الذاتي يتيح للنموذج استخدام السياق على مدى طويل، لكنه لا يعطي النموذج ذاكرة دائمة تتجاوز نص المحادثة الحالية.
• العمليات الداخلية مثل التخطيط الأمامي والتمثيلات المشتركة عبر اللغات قد تم توثيقها من قبل فريق القابلية للتفسير في Anthropic على نماذجها الخاصة، على الرغم من أن هذه الدراسات محدودة النطاق وعائلة النموذج.
• شرح النموذج لاستدلاله الخاص يمكن أن ينحرف عن الحساب الذي أداه فعليًا داخليًا، وفقًا لنتائج Anthropic.
• الإجابات الواثقة والخاطئة هي نتاج متوقع من كل من الهدف التدريبي القائم على التنبؤ وطرق التقييم الشائعة اليوم، وفقًا لأبحاث الهلوسة.

ما يبقى دون حل

حتى المنظمات التي تبني هذه الأنظمة تصف أسئلة مفتوحة حول أعمالها الداخلية. مواد Anthropic الخاصة تنص بوضوح أنه على الرغم من بناء هذه النماذج، الباحثون لم يكن لديهم حساب كامل حتى الآن لكيفية أن الحسابات الداخلية للنموذج اللغوي الكبير المدرب ينتج أي ناتج معين — عمل القابلية للتفسير مثل تتبع الميزات الداخلية يُعرض كتقدم في مراحل مبكرة نحو هذا الهدف، ليس خريطة منتهية.