كيف تتعلم الشبكات العصبية: الرياضيات وراء ChatGPT و Gemini

في كل مرة يجيب روبوت محادثة على سؤال أو تطبيق صور يتعرف على وجه، تعمل الشبكة العصبية على عملية تعلم تتبع نفس الخطوات الأساسية، بغض النظر عن المهمة. وفقاً لـ IBM، تعتمد هذه العملية على تقنيتين مرتبطتين: الانتشار العكسي، الذي يحسب مدى مساهمة كل معامل داخلي في الخطأ، والانحدار التدريجي، طريقة التحسين التي تستخدم تلك الحسابات لتصحيح المعاملات.

ما هي الشبكة العصبية فعلاً

يصف معهد ستانفورد للذكاء الاصطناعي المتمركز حول الإنسان (HAI) الشبكة العصبية بأنها نموذج حسابي مستوحى من بنية الدماغ البشري، مبني من طبقات مترابطة من 'خلايا عصبية' صناعية تعالج وتنقل المعلومات. تأخذ كل خلية عصبية مدخلات رقمية، وتضربها بقيم قابلة للتعديل تسمى الأوزان، وتضيف مصطلح الانحياز، وتمرر النتيجة عبر دالة تفعيل غير خطية قبل إرسالها إلى الطبقة التالية، وفقاً لوصف IBM للبنية المعمارية. يلاحظ معهد ستانفورد HAI أن هذا الهيكل الطبقي هو ما يسمح للشبكات العصبية باستخراج الأنماط من كميات كبيرة من البيانات، مما يشكل أساس التعلم العميق.

الخطوة الأولى: الممر الأمامي

يبدأ التدريب بتعيين الأوزان والانحيازات إلى قيم عشوائية، كما يشرح IBM. أثناء 'الممر الأمامي'، تتحرك بيانات الإدخال عبر الشبكة طبقة تلو الأخرى: تحسب كل خلية عصبية مجموعها المرجح، وتطبق وظيفة التفعيل الخاصة بها، وتحول الإخراج، حتى تنتج الطبقة الأخيرة تنبؤاً. في هذه المرحلة المبكرة، لأن الأوزان عشوائية، فإن ذلك التنبؤ هو في الأساس تخمين.

الخطوة الثانية: قياس الخطأ

ثم تقارن الشبكة تنبؤها بالإجابة الصحيحة باستخدام دالة الخسارة، وهي صيغة تحدد مدى بعد الناتج، وفقاً لـ IBM. تستخدم المهام المختلفة صيغ مختلفة — متوسط الخطأ التربيعي شائع للتنبؤ بالأرقام، بينما يتم استخدام الإنتروبيا المتقاطعة لمهام التصنيف مثل فرز الصور إلى فئات.

الخطوة الثالثة: الانتشار العكسي يتتبع اللوم

الـ 'ممر خلفي' هو حيث يحدث التعلم. يصف IBM الانتشار العكسي بأنه يعمل من طبقة الإخراج نحو طبقة الإدخال، باستخدام تقنية حساب التفاضل والتكامل تسمى قاعدة السلسلة لتحديد مدى مساهمة كل وزن فردي في الخطأ الإجمالي. النتيجة هي التدرج: مجموعة من القيم، واحدة لكل وزن وانحياز، تشير إلى اتجاه وحجم التعديل الذي سيقلل الخطأ.

يشير IBM إلى كفاءة هذا النهج: لشبكة بمليون وزن، فإن اختبار كل معامل على حدة من خلال المحاولة والخطأ يتطلب أكثر من مليون ممر أمامي منفصل عبر الشبكة. يصل الانتشار العكسي إلى نفس المعلومات في ممرين فقط — واحد أمامي، واحد خلفي.

الخطوة الرابعة: الانحدار التدريجي يحدث الأوزان

بمجرد معرفة التدرج، يحرك الانحدار التدريجي كل وزن خطوة صغيرة في الاتجاه الذي يقلل الخطأ، كما يشرح IBM. يتم التحكم في حجم تلك الخطوة من خلال 'معدل التعلم': يسرع معدل التعلم الأعلى التدريب ولكنه يخاطر بتجاوز أفضل القيم، بينما المعدل الأقل أكثر دقة لكن أبطأ في التقارب. تكرر الخطوات الأربع — الممر الأمامي، حساب الخسارة، الممر الخلفي، تحديث الوزن — مراراً وتكراراً، غالباً عبر ملايين الأمثلة، حتى تتوقف الخسارة عن الانخفاض بشكل ذي مغزى.

من تقنية المختبر إلى ChatGPT و Gemini

تطبق نماذج اللغات الكبيرة نفس دورة الانتشار العكسي والانحدار التدريجي على نطاق أكبر بكثير، عبر مرحلتين منفصلتين. الأولى، المرحلة السابقة للتدريب، تعرض النموذج لكميات ضخمة من النصوص غير المصنفة — مجموعات تحتوي على مئات المليارات من الرموز، وفقاً لـ RBC Borealis — وتطلب منه بشكل متكرر التنبؤ بالكلمة التالية في السلسلة. يصف منشور بحثي من RBC Borealis نموذج الأساس بأنه في الأساس شبكة تم تدريبها على 'التنبؤ بالكلمة التالية في سلسلة إدخال غير مكتملة'، وهو ما يعلمها القواعد والحقائق والأنماط العامة لكن لا يجعلها بحد ذاتها مساعداً موثوقاً.

المرحلة الثانية، الضبط الدقيق، تكيف الشبكة المدربة مسبقاً مع السلوك المحدد. يحدد RBC Borealis ثلاثة أساليب شائعة: الضبط الدقيق بإشراف على إجابات مكتوبة بواسطة الإنسان؛ التعلم المعزز من ردود الفعل البشرية (RLHF)، حيث يقوم نموذج مكافأة منفصل مدرب على تفضيلات الإنسان بتوجيه تحديثات الأوزان الإضافية؛ وطرق أحدث مثل تحسين التفضيل المباشر، التي تتجاوز نموذج المكافأة المنفصل لكنها لا تزال تعتمد على الانتشار العكسي. هذه مرحلة الضبط الدقيق هي التي تحول متنبئاً عاماً بالكلمة التالية إلى نظام يتبع التعليمات ويرفض طلبات معينة، بدلاً من مجرد مواصلة النص في أي اتجاه محتمل إحصائياً.

لماذا تهم الآلية

لأن كلاً من المرحلة السابقة للتدريب والضبط الدقيق يعتمدان على نفس حلقة الانتشار العكسي والانحدار التدريجي الأساسية، فإن التحسينات على تلك التقنية الأساسية — أجهزة أسرع، وظائف خسارة أفضل، تحسين أكثر كفاءة — تؤثر على كل تطبيق متكامل في وقت واحد، من التعرف على الصور إلى مساعدي المحادثة. يلاحظ معهد ستانفورد HAI أن الشبكات العصبية تشكل الآن أساس أنظمة التعلم العميق المستخدمة في التعرف على الوجوه ومساعدات الصوت والمركبات المستقلة، وجميعها تم تدريبها من خلال تنويعات من نفس الدورة ذات الخطوات الأربع الموصوفة أعلاه.