كيف تعمل محركات البحث: الزحف والفهرسة والترتيب موضحة

يبدو أن كتابة سؤال في مربع البحث والحصول على إجابات في جزء من الثانية فوري، لكنه يعتمد على ثلاث عمليات منفصلة تحدث قبل وقت طويل من كتابة الاستعلام: الزحف والفهرسة والترتيب. توضح Google نموذج هذه المراحل الثلاث في وثائق المطورين الخاصة بها، والإطار الأساسي نفسه يكون الأساس لمحركات البحث الأخرى أيضاً.

الزحف: البحث عن الصفحات على الويب

الزحف هو مرحلة الاكتشاف. وفقاً لدليل Google للمطورين، تجد برامج مؤتمتة تسمى crawlers — crawler Google يسمى Googlebot — الصفحات الجديدة أو المحدثة بشكل أساسي من خلال ثلاث طرق: إعادة زيارة الصفحات التي تعرفها بالفعل، واتباع الروابط التشعبية من صفحة إلى أخرى، وقراءة ملفات sitemap التي يقدمها مالكو الموقع مباشرة إلى محرك البحث.

تلاحظ وثائق Google أن Googlebot يأتي في متغير الجوال والسطح، وأن معظم طلبات الزحف الآن تأتي من crawler الجوال لأن Google تفهرس بشكل أساسي نسخة الجوال من الصفحة. يقوم crawlers أيضاً بتصيير الصفحات باستخدام إصدار حديث من متصفح Chrome حتى يتمكنوا من تنفيذ JavaScript، حيث أن العديد من المواقع تحمل المحتوى بشكل ديناميكي بدلاً من تقديمه كـ HTML عادي.

لا يجلب crawlers كل شيء بلا تمييز. يشير دليل Google إلى أن طلبات الزحف من Googlebot تخضع للتحكم الخوارزمي، ويتم الوصول إلى معظم المواقع عادة مرة واحدة فقط كل بضع ثوانٍ تقريباً، وأن Googlebot يحترم القواعد التي يضعها مالكو الموقع في ملف robots.txt. يتم أيضاً تحديد الجلب بالحجم: يصل إلى 2 ميجابايت لمعظم أنواع الملفات و 64 ميجابايت لملفات PDF، وبعد ذلك يتوقف Googlebot عن التحميل ويعمل مع أي جزء قد استرجعه بالفعل.

الفهرسة: تنظيم ما تم العثور عليه

بمجرد جلب الصفحة، يجب على محرك البحث أن يقرر ما تتعلق به وما إذا كانت تستحق التخزين. تصف وثائق Google هذا بأنه تحليل محتوى النصوص والصور والفيديو، وقراءة عناصر HTML مثل علامات العنوان وخصائص alt للصور، وتطبيق التطبيع - تجميع الصفحات المتشابهة تقريباً واختيار نسخة تمثيلية واحدة لعرضها في النتائج.

الشيء الحاسم هو أن Google تشير إلى أن الزحف عبر صفحة لا يضمن فهرسها: يمكن استبعاد الصفحات لجودة محتوى منخفضة، أو علامة meta robots تحجب الفهرسة، أو مشاكل فنية مع الموقع. هذا هو الأساس التقني لحالة 'Crawled – currently not indexed' التي يراها مالكو المواقع أحياناً في أدوات Google.

تحت الغطاء، هيكل التخزين الذي تستخدمه محركات البحث عادة ما يكون فهرس معكوس. كما هو موضح في نظرة عامة تقنية نشرتها GeeksforGeeks، يقلب الفهرس المعكوس العلاقة المعتادة بين المستند والكلمة: بدلاً من سرد الكلمات الموجودة في أي مستند، يسرد لكل كلمة، المستندات التي تحتويها. يتضمن بناء أحدها تقسيم النص إلى مصطلحات فردية (tokenizing)، وإزالة الكلمات الحشو الشائعة، وتطبيع متغيرات الكلمات قبل تسجيل ظهور كل مصطلح. يسمح هذا الهيكل لمحرك البحث بالانتقال مباشرة إلى المستندات ذات الصلة للاستعلام بدلاً من مسح الويب بأكمله سطراً تلو الآخر، والذي تصفه نظرة GeeksforGeeks العامة بأنه بطيء بشكل غير عملي بمجرد نمو مجموعة المستندات.

الترتيب: تنظيم النتائج للاستعلام

يحدث الترتيب في اللحظة التي يبحث فيها شخص ما. تقول وثائق Google أنه من بين جميع الصفحات المفهرسة التي تطابق استعلاماً، يقوم النظام بترتيبها حسب الملاءمة، وتحدد الملاءمة بما تصفه بـ 'مئات العوامل،' والتي قد تشمل إشارات مثل موقع المستخدم واللغة والجهاز. تشير Google أيضاً صراحة إلى أنها لا تقبل الدفع لترتيب الصفحات العضوية أعلى وأن الترتيب يتم برمجياً.

أحد أقدم وأوثق إشارات الترتيب هو PageRank، الذي أنشأه مؤسسا Google Larry Page و Sergey Brin في جامعة Stanford عام 1997 وتم تقديمه براءة اختراع لأول مرة في يناير 1998، وفقاً لتاريخ قامت به شركة SEO analytics Ahrefs. يعامل PageRank كل رابط تشعبي إلى صفحة كتصويت بالثقة، مع ترجيح قيمة كل تصويت بسلطة الصفحة المرتبطة. تضمنت الصيغة الأصلية عامل تخفيف 0.85، وكان المقصود منه نمذجة احتمالية متناقصة بأن المستخدم يستمر في النقر عبر الروابط كلما ابتعدوا عن صفحة البداية.

تلاحظ نظرة Ahrefs العامة أن PageRank لم يعد درجة مستقلة — انتهى الوصول العام من خلال شريط أدوات Google في 2016 — لكن Gary Illyes في Google قال أن الروابط لا تزال تغذي إشارات سلطة أوسع تجمعها الشركة تحت E-E-A-T (الخبرة والخبرة والسلطة والموثوقية). انتقلت Google أيضاً نحو نموذج surfer معقول يرجح بعض الروابط أكثر من غيرها بناءً على مدى احتمال أن يضغط الزائر الحقيقي عليها، بدلاً من تقسيم السلطة بالتساوي عبر كل رابط على الصفحة.

لماذا يمكن الزحف إلى الصفحات لكنها لا تزال غير مرئية في البحث

تشرح المراحل الثلاث مصدر ارتباك شائع لمالكي المواقع: الزحف عبر صفحة لا يعني فهرستها، والفهرسة لا تضمن ترتيباً عالياً. دليل Google واضح حول هذا القيد، ويشير إلى أنه لا يمكنه ضمان أن صفحة معينة سيتم الزحف إليها أو فهرستها أو تقديمها، حتى عندما يتبع موقع ما إرشادات Google المنشورة.