كيف تعمل روبوتات الدردشة بالذكاء الاصطناعي مثل ChatGPT و Claude بالفعل، شرح

يكتب مئات الملايين من الأشخاص أسئلة في ChatGPT أو Claude أو Gemini أو أدوات مماثلة كل يوم، لكن البرنامج الذي يقف خلفها غالباً ما يُوصف بأنه صندوق أسود غامض. وفقاً لدورة Google للتعلم الآلي والمقالة الشارحة للكاتب العلمي Timothy B. Lee المنشورة على Understanding AI، الآلية الأساسية أبسط في الوصف مما يبدو: نموذج اللغة الكبير (LLM) هو شبكة عصبية تم تدريبها للتنبؤ بجزء صغير التالي من النص، يسمى رمز، بناءً على كل ما جاء قبله.

من الكلمات إلى الأرقام: الرموز والتضمينات

قبل أن يتمكن نموذج اللغة الكبير من معالجة النص، فإنه يقسم الطلب إلى رموز - وحدات يمكن أن تكون كلمة كاملة أو جزء من كلمة أو حرف واحد، وفقاً لتوثيق مطوري Google. يتم تحويل كل رمز إلى متجه، وهي قائمة طويلة من الأرقام تسمى تضمين، وهو مقصود ليعكس شيئاً ما حول معنى الرمز. تقارن شارحة Understanding AI هذا بإحداثيات جغرافية: الكلمات ذات المعاني المتشابهة ينتهي بها الحال بموضعها بالقرب من بعضها البعض في فضاء رقمي واسع، بالطريقة التي تشترك بها المدن القريبة في خطوط عرض وطول متشابهة.

الانتباه: كيف يتتبع النموذج السياق

العمارة التي تقف خلف جميع نماذج اللغات الحديثة تقريباً تسمى Transformer. تشرح دورة Google أن Transformer تعتمد على آلية تسمى الانتباه الذاتي، التي تحسب مقدار تأثير كل رمز في جزء من النص على تفسير كل رمز آخر. توضح Understanding AI هذا باستخدام متجهات الاستعلام والمفتاح: كل كلمة تبني فعلياً قائمة تحقق من نوع الكلمات الأخرى التي تبحث عنها، والانتباه يطابق تلك القوائم عبر الجملة بحيث يمكن للنموذج، على سبيل المثال، معرفة الاسم المعين الذي يشير إليه ضمير مثل "it".

تتبع هذه الخطوة طبقات التغذية الأمامية التي تعالج التمثيل المحدث لكل كلمة وتدفع النموذج نحو التنبؤ بالرمز التالي الذي يجب أن يأتي، كما تلاحظ Understanding AI. لأن الانتباه يسمح لكل رمز بالنظر مباشرة إلى كل رمز آخر بغض النظر عن المسافة، فإن نماذج Transformer تتعامل مع المقاطع الطويلة والمعقدة بثبات أكثر من نماذج التسلسل التي سبقتها.

التدريب: مليارات التخمينات، بدون تسميات بشرية مطلوبة

يتم تدريب نماذج اللغة الكبيرة في الغالب من خلال التعلم غير الخاضع للإشراف على التنبؤ المقنع أو التنبؤ بالرمز التالي، مما يعني أن النظام لا يُعطى إجابات "صحيحة" مكتوبة يدوياً لمعظم تدريبه. بدلاً من ذلك، توضح وثائق Google عملية يتم فيها إخفاء الرموز في النص الفعلي ويجب على النموذج تخمينها؛ تصف Understanding AI نفس الفكرة من حيث التنبؤ بالكلمة التالية عبر مجموعات ضخمة من النصوص المستخرجة من الكتب والمواقع والمصادر الأخرى. المعاملات داخل الشبكة - تستشهد Understanding AI بـ 175 مليار معامل في GPT-3، المدرب على حوالي 500 مليار كلمة - تبدأ بشكل عشوائي وتُضبط تدريجياً، تخمين تلو الآخر، حتى تتطابق تخمينات النموذج مع النص الفعلي.

تحويل نموذج خام إلى مساعد مفيد

نموذج تم تدريبه فقط للتنبؤ بالرمز التالي ليس تلقائياً روبوت دردشة يتبع التعليمات بأدب. يصف شارح Hugging Face التقني حول التعلم المعزز من ملاحظات البشر (RLHF) الخطوات الإضافية التي تستخدمها شركات مثل OpenAI لتحويل نموذج أساسي إلى مساعد. أولاً، يمكن تحسين النموذج المدرب مسبقاً من خلال الضبط الدقيق الخاضع للإشراف على محادثات مثال. ثانياً، يصنف المراجعون البشريون استجابات نموذج متعددة لنفس الطلب، والتصنيفات تدرب نموذج مكافأة منفصلاً يتعلم تسجيل النتائج بالطريقة التي يفعلها الشخص.

في المرحلة الثالثة، يتم ضبط النموذج الأصلي باستخدام التعلم المعزز - عادة تحسين السياسة القريبة - بحيث ينتج استجابات يسجل نموذج المكافأة درجات عالية لها، بينما تحافظ عقوبة رياضية على عدم انحرافه بعيداً جداً عن السلوك الأصلي بحيث يبدأ في إنشاء هراء فقط لرفع درجة المكافأة، وفقاً لوصف Hugging Face للطريقة.

لماذا لا تزال روبوتات الدردشة تختلق الأشياء

ورقة بحثية نشرتها باحثو OpenAI، "Why Language Models Hallucinate"، متاحة على arXiv، تجادل بأن الإجابات المختلقة ليست ببساطة خلل يجب إصلاحه. تعزو الورقة الهلوسات إلى سببين مرتبطين: منتج إحصائي لكيفية تعلم النماذج للتنبؤ بالاستمرارات التي تبدو معقولة أثناء التدريب المسبق، والطريقة التي يتم بها تقييم النماذج لاحقاً. تعطي معظم المعايير والتصنيفات درجة للإجابة إما صحيحة أو خاطئة وتعامل الاعتراف بعدم التأكد - "I don't know" - كإجابة خاطئة، كما تنص الورقة. هذا الإعداد يكافئ التخمين الواثق على الصراحة حول عدم التأكد، مما يدفع النماذج إلى الاستمرار في إنتاج بيانات طليقة وذات صوت محدد حتى عندما تفتقر إلى أساس موثوق به.

ما يفعله النموذج بالفعل، في جملة واحدة

معاً، العملية الموصوفة عبر هذه المصادر هي: يحول روبوت الدردشة الطلب إلى رموز، ويحولها إلى تضمينات رقمية، ويستخدم طبقات الانتباه الذاتي لقياس كيفية ارتباط كل رمز بكل رمز آخر، والتنبؤ مراراً وتكراراً بالرمز التالي الأكثر احتمالاً - عملية يشكلها بعد التدريب المسبق، ملاحظات بشرية مصممة لجعل تلك التنبؤات تشبه إجابات مفيدة وتتبع التعليمات بدلاً من نص الإنترنت الخام.